app.py

import gradio as gr
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# Cargar el modelo y el tokenizador
model_name = "BSC-LT/salamandra-7b-instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16)

# Función de generación optimizada
def generate_response(prompt):
    inputs = tokenizer(prompt, return_tensors="pt")

    outputs = model.generate(
        inputs.input_ids,
        max_length=60,  # 🔹 Antes: 100 | Ahora: 60 (reduce tiempo sin cortar demasiado)
        do_sample=True,
        temperature=0.65,  # 🔹 Antes: 0.7 | Ahora: 0.65 (ligera reducción de aleatoriedad)
        top_p=0.9,  # 🔹 Nuevo: Prioriza palabras más probables para mayor fluidez
        repetition_penalty=1.2,  # 🔹 Nuevo: Evita respuestas repetitivas
        early_stopping=True,  # 🔹 Nuevo: Reduce tiempos innecesarios
    )

    return tokenizer.decode(outputs[0], skip_special_tokens=True)

# Interfaz en Gradio
with gr.Blocks() as demo:
    gr.Markdown("# 🧠 Chatbot ALIA - Optimizado")
    input_text = gr.Textbox(label="Escribe tu texto aquí")
    output_text = gr.Textbox(label="Respuesta de ALIA")
    submit_button = gr.Button("Generar respuesta")
    submit_button.click(generate_response, inputs=input_text, outputs=output_text)

demo.launch()