Update app.py

app.py

@@ -3,12 +3,12 @@ from transformers import AutoModelForCausalLM, AutoTokenizer
 import torch
 
 # Cargar el modelo y el tokenizador
-model_name = "facebook/opt-1.3b"
+model_name = "distilgpt2"
 tokenizer = AutoTokenizer.from_pretrained(model_name)
-model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto", load_in_8bit=True)
+model = AutoModelForCausalLM.from_pretrained(model_name)
 
-def generate_response(prompt, max_length=200):
-    inputs = tokenizer.encode(prompt, return_tensors="pt").to(model.device)
+def generate_response(prompt, max_length=100):
+    inputs = tokenizer.encode(prompt, return_tensors="pt")
     
     with torch.no_grad():
         outputs = model.generate(
@@ -41,8 +41,8 @@ iface = gr.Interface(
     fn=chatbot,
     inputs=["text", "state"],
     outputs=["chatbot", "state"],
-    title="Tu Compañero AI con OPT-1.3B",
-    description="Un chatbot de IA utilizando el modelo OPT-1.3B para conversaciones coherentes y naturales.",
+    title="Tu Compañero AI con DistilGPT-2",
+    description="Un chatbot de IA utilizando el modelo DistilGPT-2 para conversaciones simples.",
 )
 
 iface.launch()