Update app.py

app.py

@@ -10,10 +10,8 @@ if "tokenizer" not in globals():
     tokenizer.pad_token = tokenizer.eos_token  # 🔹 Evita errores de atención
 
 if "model" not in globals():
-    model = AutoModelForCausalLM.from_pretrained(
-        model_name, torch_dtype=torch.float16
-    )
-    model.eval()  # 🔹 Reduce el consumo innecesario de memoria
+    model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float16)
+    model.eval()  # 🔹 Optimiza la inferencia para que sea más rápida
 
 # Función exclusiva para humanización de texto con enfoque en marketing
 def humanize_text(input_text):
@@ -33,9 +31,9 @@ def humanize_text(input_text):
     outputs = model.generate(
         inputs.input_ids,
         attention_mask=inputs.attention_mask,
-        max_new_tokens=140,  # 🔹 Limita la cantidad de palabras generadas para mejorar la velocidad
+        max_new_tokens=150,  # 🔹 Mantiene un balance entre fluidez y velocidad
         min_length=30,  # 🔹 Evita respuestas demasiado cortas
-        do_sample=False,  # 🔹 Genera una respuesta más rápida y directa
+        do_sample=True,  # 🔹 Mantiene variabilidad en la reescritura
         temperature=0.75,  # 🔹 Mantiene equilibrio entre fluidez y velocidad
         top_p=0.9,  # 🔹 Mantiene coherencia en la reescritura
         repetition_penalty=1.05,  # 🔹 Evita repeticiones sin restringir demasiado