Update app.py

app.py

@@ -5,9 +5,12 @@ from transformers import AutoModelForCausalLM, AutoTokenizer, TextIteratorStream
 
 
 tokenizer = AutoTokenizer.from_pretrained("meta-llama/Meta-Llama-3-8B-Instruct")
-model = AutoModelForCausalLM.from_pretrained("meta-llama/Meta-Llama-3-8B-Instruct", device_map="auto")
+model = AutoModelForCausalLM.from_pretrained("meta-llama/Meta-Llama-3-8B-Instruct", device_map="auto")  # to("cuda:0") 
+terminators = [
+    tokenizer.eos_token_id,
+    tokenizer.convert_tokens_to_ids("<|eot_id|>")
+]
 
-# Initialiser le générateur de texte avec GPT-2
 
 # Optionnel : Fixer une graine aléatoire pour la reproductibilit
 @spaces.GPU(duration=120)