Update app.py

app.py

@@ -1,23 +1,55 @@
 import gradio as gr
 import spaces 
 import transformers 
+from transformers import AutoTokenizer,AutoModelForCausalLM
 from transformers import pipeline 
 import torch 
 import os 
-from transformers import AutoTokenizer, AutoModelForCausalLM
-
-
 
 api_token = os.environ.get("APIKEY")
 
 
 
+model_id = "meta-llama/Meta-Llama-3-8B-Instruct"
 @spaces.GPU(duration=240)
-# Load model directly
 
-tokenizer = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3-8B-Instruct")
-model = AutoModelForCausalLM.from_pretrained("meta-llama/Meta-Llama-3-8B-Instruct",token=api_token)
+# Charger le modèle en spécifiant le token d'accès
+
+pipeline = transformers.pipeline(
+    "text-generation",
+    model=model_id,
+    token = api_token,
+    model_kwargs={"torch_dtype": torch.bfloat16},
+    device_map="auto",
+)
+
+# Créer un pipeline pour la génération de texte
+pipeline = transformers.pipeline(
+    "text-generation",
+    model=model,
+    tokenizer=model.config.tokenizer,
+    device_map="auto",
+)
+
+messages = [
+    {"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
+    {"role": "user", "content": "Who are you?"},
+]
+
+terminators = [
+    pipeline.tokenizer.eos_token_id,
+    pipeline.tokenizer.convert_tokens_to_ids("")
+]
 
+# Utiliser le pipeline pour générer du texte
+outputs = pipeline(
+    messages,
+    max_new_tokens=256,
+    eos_token_id=terminators,
+    do_sample=True,
+    temperature=0.6,
+    top_p=0.9,
+)
 
 
 # Fonction de génération de texte