app.py

import gradio as gr
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# Cargar el modelo y el tokenizador
model_name = "BSC-LT/salamandra-2b"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16)

# Función de generación optimizada con System Prompt
def generate_response(prompt):
    system_prompt = "Responde solo con el texto solicitado, sin información personal ni datos irrelevantes."

inputs = tokenizer(f"Instrucción: {system_prompt} \n Pregunta: {prompt} \n Respuesta directa:", return_tensors="pt")

    
    outputs = model.generate(
        inputs.input_ids,
        max_length=50,  # 🔹 Antes: 60 | Ahora: 50 (reduce tiempo sin cortar demasiado)
        do_sample=True,
        temperature=0.5,  # 🔹 Antes: 0.65 | Ahora: 0.5 (menos aleatoriedad, más precisión)
        top_p=0.85,  # 🔹 Antes: 0.9 | Ahora: 0.85 (más controlado)
        repetition_penalty=1.2,  # 🔹 Evita respuestas repetitivas
        early_stopping=True,  # 🔹 Detiene la respuesta si ya está completa
    )

    return tokenizer.decode(outputs[0], skip_special_tokens=True)

# Interfaz en Gradio
with gr.Blocks() as demo:
    gr.Markdown("# 🧠 Chatbot SOLID&ALIA - Optimizado con Instrucciones Claras")
    input_text = gr.Textbox(label="Escribe tu texto aquí")
    output_text = gr.Textbox(label="Respuesta de ALIA")
    submit_button = gr.Button("Generar respuesta")
    submit_button.click(generate_response, inputs=input_text, outputs=output_text)

demo.launch()