Update app.py

app.py

@@ -32,31 +32,52 @@ CHAT_TEMPLATE= """{% for message in messages %}
 {% endfor %}""" # Asegúrate de usar tu CHAT_TEMPLATE aquí
 tokenizer.chat_template = CHAT_TEMPLATE
 
+# Función para generar respuestas del modelo
+import gradio as gr
+
+# Asume que todas tus importaciones previas y configuraciones del modelo están aquí
+
+# Aquí deberías tener definida la función `generate_response` tal como la compartiste
 # Función para generar respuestas del modelo
 def generate_response(user_input, chat_history):
     # Preparar el input agregando el historial de chat
-    mensajes = [{"content": user_input, "role": "user"}]
-    user_input  = tokenizer.apply_chat_template(mensajes, tokenize=False)
-    input_with_history = chat_history + user_input
+    chat_history.append({"content": user_input, "role": "user"})
     
-    input_tokens = tokenizer(input_with_history, return_tensors='pt', padding=True, truncation=True, max_length=1024).to(device)
+    user_input  = tokenizer.apply_chat_template(chat_history, tokenize=False)
+    
+    input_tokens = tokenizer(user_input, return_tensors='pt', padding=True, truncation=True, max_length=1024).to(device)
     
     # Generar la respuesta
     output_tokens = model_with_adapter.generate(**input_tokens, max_length=1024, pad_token_id=tokenizer.eos_token_id, top_k=50, top_p=0.95, temperature=0.7)
     generated_text = tokenizer.decode(output_tokens[0], skip_special_tokens=True)
+
+    last_us = generated_text.rfind("</user>") + len("</user>")
+    last_as = generated_text.rfind("</assistant>")
+    generated_text = generated_text[last_us:last_as].strip() 
+    chat_history.append({"content": generated_text, "role": "assistant"})
+    return generated_text, chat_history
     
-    # Actualizar el historial del chat
-    new_chat_history = chat_history + "\n" + generated_text
-    return generated_text, new_chat_history
+# Inicializa el historial de la conversación como una lista vacía
+historial_de_chat = []
+
+# Define la función que será llamada por la interfaz de Gradio
+def chatbot_interface(pregunta):
+    global historial_de_chat
+    # Genera la respuesta utilizando tu modelo
+    respuesta, historial_de_chat = generate_response(pregunta, historial_de_chat)
+    # Prepara el historial de chat para mostrarlo en la interfaz
+    historial_para_mostrar = "\n".join([f"{m['role'].capitalize()}: {m['content']}" for m in historial_de_chat])
+    return historial_para_mostrar
 
-# Gradio interface
-def chat_interface(user_input, chat_history=""):
-    response, new_chat_history = generate_response(user_input, chat_history)
-    return response, new_chat_history
+with gr.Blocks() as app:
+    with gr.Row():
+        gr.Markdown("### Chat de WhatsApp Simulado")
+    with gr.Row():
+        chatbox = gr.Textbox(label="Escribe tu pregunta aquí", placeholder="Hola, ¿cómo estás?")
+    with gr.Row():
+        boton_enviar = gr.Button("Enviar")
+    historial = gr.Textbox(label="Historial de Chat", lines=20, interactive=False, placeholder="Aquí aparecerán tus mensajes y las respuestas.")
 
-iface = gr.Interface(fn=chat_interface,
-                     inputs=[gr.inputs.Textbox(lines=2, label="Tu Mensaje"), gr.inputs.Textbox(lines=10, label="Historial de Chat", default="")],
-                     outputs=[gr.outputs.Textbox(label="Respuesta del Modelo"), gr.outputs.Textbox(label="Nuevo Historial de Chat")],
-                     description="Chat con tu Modelo")
+    boton_enviar.click(fn=chatbot_interface, inputs=chatbox, outputs=historial)
 
-iface.launch()
+app.launch()