Update app.py

app.py

@@ -8,15 +8,19 @@ from transformers import AutoModelForCausalLM, AutoTokenizer
 from langchain.memory import ConversationBufferMemory
 
 # Configuración del modelo de lenguaje
-MODEL_NAME = "mistralai/Mistral-7B-Instruct"  # Puedes cambiar a LLaMA 2
+MODEL_NAME = "mistralai/Mistral-7B-Instruct-v0.3"
 device = "cuda" if torch.cuda.is_available() else "cpu"
 
 print("🔄 Cargando modelo de lenguaje...")
 tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
-model = AutoModelForCausalLM.from_pretrained(MODEL_NAME).to(device)
+model = AutoModelForCausalLM.from_pretrained(
+    MODEL_NAME,
+    torch_dtype=torch.float16 if device == "cuda" else torch.float32,
+    device_map="auto"
+).to(device)
 
-# Configuración de memoria conversacional con límite de contexto
-memory = ConversationBufferMemory(max_human_messages=10, max_ai_messages=10)
+# Memoria conversacional
+memory = ConversationBufferMemory()
 
 # Cargar modelo de la colmena
 modelo_path = "modelo_colmena.pkl"
@@ -37,7 +41,7 @@ def obtener_datos_colmena():
         if respuesta.status_code == 200:
             datos = respuesta.json()
             if "data" in datos and isinstance(datos["data"], list) and datos["data"]:
-                return datos["data"][-1]  # Devuelve solo el último registro
+                return datos["data"][-1]  # Último registro
             return {"error": "No hay datos recientes en Node-RED."}
         else:
             return {"error": f"Error en la API: {respuesta.status_code}"}
@@ -62,7 +66,7 @@ def filtrar_datos_por_pregunta(mensaje, datos):
         estado = "ENCENDIDO" if int(datos['ver_ultrasonido']) == 1 else "APAGADO"
         return f"🔊 Ultrasonido: {estado}."
     else:
-        return "🤖 No entiendo la pregunta. Puedes preguntar sobre temperatura, humedad, CO2, ventilador, calefactor o ultrasonido."
+        return "🤖 No entiendo la pregunta. Pregunta sobre temperatura, humedad, CO2, ventilador, calefactor o ultrasonido."
 
 def conversar_con_colmena(mensaje):
     """Genera una respuesta combinando el modelo de lenguaje con los datos de la colmena."""
@@ -72,11 +76,16 @@ def conversar_con_colmena(mensaje):
     
     datos_relevantes = filtrar_datos_por_pregunta(mensaje.lower(), datos)
     
-    contexto = f"Datos actuales de la colmena: {datos_relevantes}\nUsuario: {mensaje}\nColmena:"  
+    contexto = f"Datos actuales de la colmena: {datos_relevantes}\nUsuario: {mensaje}\nColmena:"
     inputs = tokenizer(contexto, return_tensors="pt").to(device)
     
     with torch.no_grad():
-        output = model.generate(**inputs, max_length=150)  # Limitar longitud
+        output = model.generate(
+            **inputs,
+            max_length=200,
+            do_sample=True,  # Permite respuestas más naturales
+            top_p=0.9
+        )
     
     respuesta = tokenizer.decode(output[0], skip_special_tokens=True)
     memory.save_context({"input": mensaje}, {"output": respuesta})
@@ -93,3 +102,4 @@ iface = gr.Interface(
 
 iface.launch()
 
+