joackoEsp commited on
Commit
3afee96
verified
1 Parent(s): e3d3bd5

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +8 -5
app.py CHANGED
@@ -11,15 +11,17 @@ model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float
11
  def generate_response(prompt):
12
  system_prompt = "Responde solo con el texto solicitado, sin informaci贸n personal ni datos irrelevantes."
13
 
14
- inputs = tokenizer(f"Instrucci贸n: {system_prompt} \n Pregunta: {prompt} \n Respuesta directa:", return_tensors="pt")
 
 
 
15
 
16
-
17
  outputs = model.generate(
18
  inputs.input_ids,
19
- max_length=50, # 馃敼 Antes: 60 | Ahora: 50 (reduce tiempo sin cortar demasiado)
20
  do_sample=True,
21
- temperature=0.5, # 馃敼 Antes: 0.65 | Ahora: 0.5 (menos aleatoriedad, m谩s precisi贸n)
22
- top_p=0.85, # 馃敼 Antes: 0.9 | Ahora: 0.85 (m谩s controlado)
23
  repetition_penalty=1.2, # 馃敼 Evita respuestas repetitivas
24
  early_stopping=True, # 馃敼 Detiene la respuesta si ya est谩 completa
25
  )
@@ -35,3 +37,4 @@ with gr.Blocks() as demo:
35
  submit_button.click(generate_response, inputs=input_text, outputs=output_text)
36
 
37
  demo.launch()
 
 
11
  def generate_response(prompt):
12
  system_prompt = "Responde solo con el texto solicitado, sin informaci贸n personal ni datos irrelevantes."
13
 
14
+ inputs = tokenizer(
15
+ f"Instrucci贸n: {system_prompt} \n Pregunta: {prompt} \n Respuesta directa:",
16
+ return_tensors="pt"
17
+ )
18
 
 
19
  outputs = model.generate(
20
  inputs.input_ids,
21
+ max_length=50, # 馃敼 Limita la respuesta a 50 tokens
22
  do_sample=True,
23
+ temperature=0.5, # 馃敼 Menos aleatoriedad, m谩s precisi贸n
24
+ top_p=0.85, # 馃敼 M谩s controlado
25
  repetition_penalty=1.2, # 馃敼 Evita respuestas repetitivas
26
  early_stopping=True, # 馃敼 Detiene la respuesta si ya est谩 completa
27
  )
 
37
  submit_button.click(generate_response, inputs=input_text, outputs=output_text)
38
 
39
  demo.launch()
40
+