app.py

import gradio as gr
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

# Cargar el modelo y el tokenizador
model_name = "BSC-LT/salamandra-2b"

if "model" not in globals():
    tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
    tokenizer.pad_token = tokenizer.eos_token  # 🔹 Evita errores de atención
    model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16)

# Función de generación optimizada
def generate_response(prompt):
    system_prompt = "Responde solo con el texto solicitado, sin información personal ni datos irrelevantes."

    inputs = tokenizer(
        f"Instrucción: {system_prompt} \n Pregunta: {prompt} \n Respuesta directa:",
        return_tensors="pt",
        padding=True  # 🔹 Evita respuestas inconsistentes
    )

    outputs = model.generate(
        inputs.input_ids,
        attention_mask=inputs.attention_mask,  # 🔹 Asegura que el modelo procese correctamente la entrada
        max_new_tokens=50,  # 🔹 Control preciso sobre la generación
        do_sample=True,
        temperature=0.45,  # 🔹 Reduce la aleatoriedad sin hacer respuestas robóticas
        top_p=0.9,  # 🔹 Más fluidez y control en la elección de palabras
        repetition_penalty=1.1,  # 🔹 Evita repeticiones innecesarias
        early_stopping=False,  # 🔹 Ajustado para evitar la advertencia en Hugging Face
    )

    return tokenizer.decode(outputs[0], skip_special_tokens=True)

# Interfaz en Gradio
with gr.Blocks() as demo:
    gr.Markdown("# 🧠 Chatbot SOLID&ALIA - Optimizado con Instrucciones Claras")
    input_text = gr.Textbox(label="Escribe tu texto aquí")
    output_text = gr.Textbox(label="Respuesta de ALIA")
    submit_button = gr.Button("Generar respuesta")
    submit_button.click(generate_response, inputs=input_text, outputs=output_text)

demo.launch()