Update app.py

app.py

@@ -10,13 +10,15 @@ if "tokenizer" not in globals():
     tokenizer.pad_token = tokenizer.eos_token  # 🔹 Evita errores de atención
 
 if "model" not in globals():
-    model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16)
-    model.eval()  # 🔹 Optimiza la inferencia para que sea más rápida
+    model = AutoModelForCausalLM.from_pretrained(
+        model_name, torch_dtype=torch.float16, device_map="auto"  # 🔹 Optimiza la inferencia según los recursos
+    )
+    model.eval()  # 🔹 Reduce el consumo innecesario de memoria
 
 # Función exclusiva para humanización de texto con enfoque en marketing
 def humanize_text(input_text):
     system_prompt = (
-        "Transforma el siguiente texto en un mensaje más natural, accesible y atractivo, "
+        "Reescribe el siguiente texto con un estilo más natural, accesible y persuasivo, "
         "manteniendo su significado original. "
         "Adopta un tono más claro y cercano, ideal para comunicación en marketing. "
         "Convierte estructuras rígidas en frases más dinámicas y fluidas, "
@@ -31,10 +33,10 @@ def humanize_text(input_text):
     outputs = model.generate(
         inputs.input_ids,
         attention_mask=inputs.attention_mask,
-        max_new_tokens=170,  # 🔹 Más margen para reformular bien
+        max_new_tokens=140,  # 🔹 Limita la cantidad de palabras generadas para mejorar la velocidad
         min_length=30,  # 🔹 Evita respuestas demasiado cortas
-        do_sample=True,  # 🔹 Mantiene variabilidad en la reescritura
-        temperature=0.85,  # 🔹 Más creatividad sin perder precisión
+        do_sample=False,  # 🔹 Genera una respuesta más rápida y directa
+        temperature=0.75,  # 🔹 Mantiene equilibrio entre fluidez y velocidad
         top_p=0.9,  # 🔹 Mantiene coherencia en la reescritura
         repetition_penalty=1.05,  # 🔹 Evita repeticiones sin restringir demasiado
         num_return_sequences=1,  # 🔹 Genera solo una respuesta bien formulada