Update app.py

app.py

@@ -1,20 +1,41 @@
 import gradio as gr
+from transformers import AutoModelForCausalLM, AutoTokenizer
+import torch
 
-# Предположим, что модель загружена и доступна
-model = gr.load("models/Qwen/Qwen2.5-Coder-32B-Instruct")
+# Загрузка модели и токенизатора
+model_name = "Qwen/Qwen2.5-Coder-32B-Instruct"
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+model = AutoModelForCausalLM.from_pretrained(model_name)
 
-def code_assistant(system_message, chat_history, user_input):
+# Функция для генерации ответа
+def generate_response(system_message, chat_history, user_input):
     if not chat_history:
         chat_history.append({"role": "system", "content": system_message})
+
+    # Конкатенируем все сообщения для контекста
+    conversation = " ".join([f"{entry['role']}: {entry['content']}" for entry in chat_history])
+    conversation += f" user: {user_input}"
+
+    # Токенизация ввода
+    inputs = tokenizer(conversation, return_tensors="pt").to(model.device)
+
+    # Генерация ответа
+    with torch.no_grad():
+        outputs = model.generate(inputs["input_ids"], max_length=512, num_return_sequences=1)
+
+    # Декодирование и получение текста ответа
+    generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
     
-    # Рассмотрим, что модель принимает строку и возвращает строку
-    response = "Ответ от модели"  # Замените на реальный вызов модели, например: model(user_input)
-    
+    # Извлечение только нового ответа
+    response = generated_text.split("assistant:")[-1].strip()
+
+    # Добавляем пользовательский ввод и ответ модели в историю чата
     chat_history.append({"role": "user", "content": user_input})
     chat_history.append({"role": "assistant", "content": response})
-    
+
     return chat_history
 
+# Создаем интерфейс
 with gr.Blocks() as demo:
     gr.Markdown("## Чат-бот для помощи в кодировании")
 
@@ -23,6 +44,6 @@ with gr.Blocks() as demo:
     user_input = gr.Textbox(placeholder="Введите ваш вопрос или код здесь...", label="Ваш ввод")
     submit_btn = gr.Button("Отправить")
 
-    submit_btn.click(code_assistant, inputs=[system_message, chatbot, user_input], outputs=chatbot)
+    submit_btn.click(generate_response, inputs=[system_message, chatbot, user_input], outputs=chatbot)
 
 demo.launch()