Update app.py

app.py

@@ -1,7 +1,6 @@
 import spaces
 import os
 import random
-import time
 from llama_cpp import Llama
 from llama_cpp_agent import LlamaCppAgent, MessagesFormatterType
 from llama_cpp_agent.providers import LlamaCppPythonProvider
@@ -57,8 +56,10 @@ def generar_descripcion_personalidad(prompt):
     if llm is None:
         llm = Llama(
             model_path="models/gemma-2-2b-it-abliterated-Q4_K_M.gguf",
-            n_gpu_layers=-1,
-            n_ctx=2048,
+            flash_attn=True,
+            n_gpu_layers=81,
+            n_batch=1024,
+            n_ctx=8192,
         )
     
     proveedor = LlamaCppPythonProvider(llm)
@@ -76,10 +77,10 @@ def generar_descripcion_personalidad(prompt):
     respuesta = agente.get_chat_response(prompt, llm_sampling_settings=configuracion)
     return respuesta
 
-@spaces.GPU()
+@spaces.GPU(duration=120)
 def responder(
     mensaje,
-    historial,
+    historial: list[tuple[str, str]],
     mensaje_sistema,
     max_tokens,
     temperatura,
@@ -92,15 +93,19 @@ def responder(
     if llm is None:
         llm = Llama(
             model_path="models/gemma-2-2b-it-abliterated-Q4_K_M.gguf",
-            n_gpu_layers=-1,
-            n_ctx=2048,
+            flash_attn=True,
+            n_gpu_layers=81,
+            n_batch=1024,
+            n_ctx=8192,
         )
     
+    plantilla_chat = MessagesFormatterType.GEMMA_2
+    
     proveedor = LlamaCppPythonProvider(llm)
     agente = LlamaCppAgent(
         proveedor,
         system_prompt=f"{mensaje_sistema}",
-        predefined_messages_formatter_type=MessagesFormatterType.GEMMA_2,
+        predefined_messages_formatter_type=plantilla_chat,
         debug_output=True
     )
     
@@ -125,83 +130,63 @@ def responder(
         mensajes.add_message(usuario)
         mensajes.add_message(asistente)
     
-    try:
-        flujo = agente.get_chat_response(
-            mensaje,
-            llm_sampling_settings=configuracion,
-            chat_history=mensajes,
-            returns_streaming_generator=True,
-            print_output=False
-        )
-        
-        salida = ""
-        for fragmento in flujo:
-            salida += fragmento
-            yield salida
-        
-        if not salida:
-            yield "El modelo no generó ninguna respuesta. Por favor, intenta de nuevo."
-    except Exception as e:
-        yield f"Error al generar respuesta: {str(e)}"
-
-def actualizar_mensaje_sistema(personalidad):
-    return f"Eres un personaje con la siguiente personalidad: {personalidad}. Actúa y responde de acuerdo a estas características en todo momento."
+    flujo = agente.get_chat_response(
+        mensaje,
+        llm_sampling_settings=configuracion,
+        chat_history=mensajes,
+        returns_streaming_generator=True,
+        print_output=False
+    )
+    
+    salida = ""
+    for fragmento in flujo:
+        salida += fragmento
+        yield salida
 
-def interfaz_chat():
-    with gr.Blocks() as demo:
-        gr.Markdown("# Chat de Rol Play con Gemma 2B")
-        
-        personalidad_output = gr.Textbox(label="Personalidad Generada", lines=4, interactive=False)
-        sistema_msg = gr.Textbox(value="Eres un asistente útil.", label="Mensaje del sistema", lines=3)
-        
-        chatbot = gr.Chatbot(scale=1, likeable=False, show_copy_button=True)
-        msg = gr.Textbox(label="Tu mensaje")
-        clear = gr.Button("Limpiar")
-        estado = gr.Textbox(label="Estado", value="Listo para chatear")
-        
-        with gr.Accordion("Configuración Avanzada", open=False):
-            max_tokens = gr.Slider(minimum=1, maximum=2048, value=1024, step=1, label="Tokens máximos")
-            temperatura = gr.Slider(minimum=0.1, maximum=2.0, value=0.7, step=0.1, label="Temperatura")
-            top_p = gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-p")
-            top_k = gr.Slider(minimum=0, maximum=100, value=40, step=1, label="Top-k")
-            penalizacion = gr.Slider(minimum=1.0, maximum=2.0, value=1.1, step=0.1, label="Penalización por repetición")
-        
-        generar_btn = gr.Button("Generar Nueva Personalidad")
-        
-        def on_generar_personalidad():
-            try:
-                personalidad = generar_personalidad()
-                nuevo_mensaje_sistema = actualizar_mensaje_sistema(personalidad)
-                return personalidad, nuevo_mensaje_sistema, [], "Personalidad generada con éxito"
-            except Exception as e:
-                return "", "Error al generar personalidad", [], f"Error: {str(e)}"
-        
-        generar_btn.click(
-            on_generar_personalidad,
-            outputs=[personalidad_output, sistema_msg, chatbot, estado]
-        )
-        
-        def on_submit(mensaje, historial, sistema_msg, max_tokens, temperatura, top_p, top_k, penalizacion):
-            historial = historial + [(mensaje, "")]
-            yield historial, "", "Generando respuesta..."
-            
-            for respuesta in responder(mensaje, historial, sistema_msg, max_tokens, temperatura, top_p, top_k, penalizacion):
-                historial[-1] = (mensaje, respuesta)
-                yield historial, "", "Generando respuesta..."
-            
-            yield historial, "", "Listo para chatear"
-        
-        msg.submit(
-            on_submit,
-            [msg, chatbot, sistema_msg, max_tokens, temperatura, top_p, top_k, penalizacion],
-            [chatbot, msg, estado]
-        )
-        
-        clear.click(lambda: ([], "", "Chat limpiado"), outputs=[chatbot, msg, estado])
+def chat_with_personality(message, history):
+    if not history:
+        # Primera interacción, generamos la personalidad
+        personalidad = generar_personalidad()
+        mensaje_sistema = f"Eres un personaje con la siguiente personalidad: {personalidad}. Actúa y responde de acuerdo a estas características en todo momento."
+        history.append(("Sistema", f"Se ha generado una nueva personalidad: {personalidad}"))
+    else:
+        mensaje_sistema = history[0][1].split(": ", 1)[1]
+    
+    # Configuración por defecto
+    max_tokens = 2048
+    temperatura = 0.7
+    top_p = 0.95
+    top_k = 40
+    penalizacion_repeticion = 1.1
     
-    return demo
+    for response in responder(message, history[1:], mensaje_sistema, max_tokens, temperatura, top_p, top_k, penalizacion_repeticion):
+        yield history + [(message, response)]
+
+descripcion = """<p align="center">Chat de Rol Play con Gemma 2B Abliterated usando llama.cpp</p>
+<p>Este chat genera automáticamente una personalidad al inicio de la conversación y luego responde de acuerdo a esa personalidad.</p>
+<p><center>
+<a href="https://huggingface.co/google/gemma-2-2b-it" target="_blank">[Modelo Gemma 2B it]</a>
+<a href="https://huggingface.co/google/gemma-2-2b-it-GGUF" target="_blank">[Modelo Gemma 2B it GGUF]</a>
+</center></p>"""
+
+demo = gr.ChatInterface(
+    chat_with_personality,
+    chatbot=gr.Chatbot(height=500),
+    textbox=gr.Textbox(placeholder="Escribe tu mensaje aquí...", container=False, scale=7),
+    title="Chat de Rol Play con Gemma 2B",
+    description=descripcion,
+    theme="soft",
+    examples=[
+        "Hola, ¿cómo estás?",
+        "¿Puedes contarme sobre tu día típico?",
+        "¿Cuál es tu opinión sobre la tecnología actual?",
+        "¿Tienes algún hobby interesante?"
+    ],
+    cache_examples=False,
+    retry_btn="Reintentar",
+    undo_btn="Deshacer",
+    clear_btn="Limpiar"
+)
 
 if __name__ == "__main__":
-    demo = interfaz_chat()
-    demo.queue()
     demo.launch()