Create app.py

app.py

@@ -0,0 +1,51 @@
+import gradio as gr
+from transformers import AutoTokenizer, AutoModelForCausalLM
+import torch
+
+# Charger le modèle et le tokenizer
+model_name = "Dorian2B/Vera-Instruct"
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16)
+device = "cuda" if torch.cuda.is_available() else "cpu"
+model = model.to(device)
+
+def generate_response(message, history):
+    # Formatage de l'historique de conversation
+    prompt = ""
+    if history:
+        for user_msg, bot_msg in history:
+            prompt += f"<|user|>{user_msg}</s>\n<|assistant|>{bot_msg}</s>\n"
+    prompt += f"<|user|>{message}</s>\n<|assistant|>"
+    
+    # Encodage et génération
+    inputs = tokenizer(prompt, return_tensors="pt").to(device)
+    outputs = model.generate(
+        **inputs,
+        max_new_tokens=512,
+        do_sample=True,
+        temperature=0.7,
+        top_p=0.9,
+        repetition_penalty=1.1,
+        eos_token_id=tokenizer.eos_token_id,
+    )
+    
+    # Décodage et nettoyage de la réponse
+    response = tokenizer.decode(outputs[0], skip_special_tokens=True)
+    response = response.split("<|assistant|>")[-1].strip()
+    
+    return response
+
+# Interface Gradio avec ChatInterface
+demo = gr.ChatInterface(
+    fn=generate_response,
+    title="Chat avec Vera-Instruct",
+    description="Discutez avec le modèle Vera-Instruct de Dorian2B",
+    examples=["Bonjour, comment ça va ?", 
+              "Explique-moi le théorème de Pythagore",
+              "Donne-moi une recette de cookies"],
+    theme="soft"
+)
+
+# Pour Hugging Face Spaces, utilisez launch()
+if __name__ == "__main__":
+    demo.launch()