Update app.py

app.py

@@ -10,46 +10,13 @@ api_token = os.environ.get("APIKEY")
 
 
 
-model_id = "meta-llama/Meta-Llama-3-8B-Instruct"
 @spaces.GPU(duration=240)
+# Load model directly
+from transformers import AutoTokenizer, AutoModelForCausalLM
 
-# Charger le modèle en spécifiant le token d'accès
+tokenizer = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3-8B-Instruct")
+model = AutoModelForCausalLM.from_pretrained("meta-llama/Meta-Llama-3-8B-Instruct",token=api_token)
 
-pipeline = transformers.pipeline(
-    "text-generation",
-    model=model_id,
-    token = api_token,
-    model_kwargs={"torch_dtype": torch.bfloat16},
-    device_map="auto",
-)
-
-# Créer un pipeline pour la génération de texte
-pipeline = transformers.pipeline(
-    "text-generation",
-    model=model,
-    tokenizer=model.config.tokenizer,
-    device_map="auto",
-)
-
-messages = [
-    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
-    {"role": "user", "content": "Who are you?"},
-]
-
-terminators = [
-    pipeline.tokenizer.eos_token_id,
-    pipeline.tokenizer.convert_tokens_to_ids("")
-]
-
-# Utiliser le pipeline pour générer du texte
-outputs = pipeline(
-    messages,
-    max_new_tokens=256,
-    eos_token_id=terminators,
-    do_sample=True,
-    temperature=0.6,
-    top_p=0.9,
-)
 
 
 # Fonction de génération de texte