Update app.py

app.py

@@ -4,47 +4,44 @@ from transformers import AutoTokenizer, AutoModelForCausalLM
 from peft import PeftModel
 
 # Загружаем модель и токенизатор
-base_model_name = "t-tech/T-lite-it-1.0"  # Базовая модель T-Lite
-lora_repo = "shao3d/my-t-lite-qlora"      # Твой репозиторий с LoRA-адаптером
+base_model_name = "t-tech/T-lite-it-1.0"
+lora_repo = "shao3d/my-t-lite-qlora"
 
 tokenizer = AutoTokenizer.from_pretrained(base_model_name)
 base_model = AutoModelForCausalLM.from_pretrained(
     base_model_name,
-    device_map="cpu",  # Бесплатный Space использует CPU
-    torch_dtype=torch.float16  # Экономим память
+    device_map="cpu",
+    torch_dtype=torch.float16
 )
 model = PeftModel.from_pretrained(base_model, lora_repo)
-model.eval()  # Режим предсказания
+model.eval()
 
-def generate_response(history, message):
-    # Проверяем, что пользователь ввёл сообщение
-    if not message or message.strip() == "":
-        raise gr.Error("Пожалуйста, введите сообщение в текстовое поле перед отправкой.")
-    
-    # Генерируем ответ от модели
-    inputs = tokenizer(message, return_tensors="pt").to("cpu")
+# Функция генерации ответа
+def generate_response(history):
+    if not history:
+        return []
+    user_message = history[-1][0]  # Последний вопрос пользователя
+    inputs = tokenizer(user_message, return_tensors="pt").to("cpu")
     outputs = model.generate(
         **inputs,
-        max_new_tokens=50,  # Ограничиваем длину для скорости
-        temperature=0.7,    # Баланс между точностью и разнообразием
-        do_sample=True      # Включаем разнообразие ответов
+        max_new_tokens=50,  # Ограничение длины
+        temperature=0.7,    # Креативность
+        top_p=0.9,          # Разнообразие
+        do_sample=True
     )
     response = tokenizer.decode(outputs[0], skip_special_tokens=True)
-    
-    # Обновляем историю: добавляем [вопрос, ответ]
-    if history is None:
-        history = []
-    return history + [[message, response]]
+    # Убираем повторение вопроса
+    if response.startswith(user_message):
+        response = response[len(user_message):].strip()
+    return history + [[user_message, response]]
 
-# Создаём интерфейс Gradio
+# Интерфейс Gradio
 with gr.Blocks() as demo:
     gr.Markdown("# Тест дообученной T-Lite")
     chatbot = gr.Chatbot()
     msg = gr.Textbox(placeholder="Напиши сообщение для модели...")
     clear = gr.Button("Очистить чат")
-    
-    # Связываем ввод с функцией
-    msg.submit(generate_response, inputs=[chatbot, msg], outputs=chatbot)
+    msg.submit(generate_response, inputs=chatbot, outputs=chatbot)
     clear.click(lambda: [], None, chatbot)
 
 demo.launch()