Update app.py

app.py

@@ -96,9 +96,13 @@ async def create_chat_completion(request: ChatCompletionRequest):
     if not user_prompt: return {"error": "Prompt not found."}
 
     initial_messages = [{'role': 'system', 'content': SYSTEM_PROMPT}, {'role': 'user', 'content': user_prompt}]
-    inputs = tokenizer.apply_chat_template(initial_messages, add_generation_prompt=True, return_tensors="pt").to(DEVICE)
     
-    # CORRECTION ICI : On utilise **inputs pour décompresser le dictionnaire
+    # --- CORRECTION ICI : On garantit que 'inputs' est un dictionnaire ---
+    # Étape 1: Formatter le texte
+    formatted_prompt = tokenizer.apply_chat_template(initial_messages, tokenize=False, add_generation_prompt=True)
+    # Étape 2: Tokenizer le texte formaté pour obtenir un dictionnaire
+    inputs = tokenizer(formatted_prompt, return_tensors="pt", padding=True).to(DEVICE)
+    
     outputs = model.generate(**inputs, max_new_tokens=150, eos_token_id=tokenizer.eos_token_id)
     thought_process = tokenizer.decode(outputs[0][len(inputs['input_ids'][0]):], skip_special_tokens=True)
 
@@ -129,9 +133,10 @@ async def create_chat_completion(request: ChatCompletionRequest):
             {'role': 'assistant', 'content': thought_process}
         ]
 
-    final_inputs = tokenizer.apply_chat_template(final_messages, add_generation_prompt=False, return_tensors="pt").to(DEVICE)
+    # --- DEUXIÈME CORRECTION ICI : On applique la même logique ---
+    final_formatted_prompt = tokenizer.apply_chat_template(final_messages, tokenize=False, add_generation_prompt=True)
+    final_inputs = tokenizer(final_formatted_prompt, return_tensors="pt", padding=True).to(DEVICE)
     
-    # DEUXIÈME CORRECTION ICI : On utilise également **final_inputs
     final_outputs = model.generate(**final_inputs, max_new_tokens=1024, do_sample=True, temperature=0.1, top_k=50, top_p=0.95, eos_token_id=tokenizer.eos_token_id)
     response_text = tokenizer.decode(final_outputs[0][len(final_inputs['input_ids'][0]):], skip_special_tokens=True)