Create app.py

app.py

@@ -0,0 +1,55 @@
+from transformers import AutoModelForCausalLM, AutoTokenizer
+from peft import PeftModel
+import gradio as gr
+
+
+# Cargar el tokenizador
+tokenizer = AutoTokenizer.from_pretrained("Juliofc/chaterapia_model")
+
+# Añadir el token especial [PAD]
+#tokenizer.add_special_tokens({'pad_token': '[PAD]'})
+
+# Cargar el modelo base y ajustar el tamaño de los embeddings de tokens
+model_base = AutoModelForCausalLM.from_pretrained("google/gemma-2b-it")
+model_base.resize_token_embeddings(len(tokenizer))
+
+# Cargar el modelo con el adaptador
+model_with_adapter = PeftModel.from_pretrained(model_base, "Juliofc/chaterapia_model")
+
+
+# Suponiendo que `tokenizer` y `model_with_adapter` ya están inicializados
+
+def chat_with_model(user_input, conversation_history):
+    # Actualiza el historial con la entrada del usuario
+    conversation_history += f"Usuario: {user_input}\n"
+    
+    # Prepara la entrada para el modelo
+    input_tokens = tokenizer.encode(user_input, return_tensors='pt')
+    
+    # Genera la respuesta del modelo
+    output_tokens = model_with_adapter.generate(input_tokens, max_new_tokens=50, pad_token_id=tokenizer.pad_token_id)
+    
+    # Decodifica la respuesta
+    generated_text = tokenizer.decode(output_tokens[0], skip_special_tokens=True)
+    
+    # Actualiza el historial con la respuesta del modelo
+    conversation_history += f"Modelo: {generated_text}\n"
+    
+    return "", conversation_history  # Retorna el historial actualizado
+
+# Define los componentes de la interfaz de Gradio
+with gr.Blocks() as demo:
+    gr.Markdown("### Chat con IA")
+    input_text = gr.Textbox(label="Tu mensaje")
+    submit_button = gr.Button("Enviar")
+    output_text = gr.Textbox(label="Historial de la conversación", lines=10, interactive=False)
+    conversation_history = gr.State()  # Inicializa el estado para mantener el historial
+
+    # Configura la acción al presionar el botón de envío
+    submit_button.click(
+        fn=chat_with_model, 
+        inputs=[input_text, conversation_history], 
+        outputs=[input_text, conversation_history]
+    )
+
+demo.launch()