Spaces:
Runtime error
Runtime error
Update app.py
Browse files
app.py
CHANGED
@@ -5,7 +5,7 @@ from peft import PeftModel
|
|
5 |
|
6 |
# Загружаем базовую модель и токенизатор
|
7 |
base_model_name = "t-tech/T-lite-it-1.0"
|
8 |
-
lora_repo = "
|
9 |
|
10 |
tokenizer = AutoTokenizer.from_pretrained(base_model_name)
|
11 |
base_model = AutoModelForCausalLM.from_pretrained(
|
@@ -17,12 +17,14 @@ model = PeftModel.from_pretrained(base_model, lora_repo)
|
|
17 |
model.eval() # Переключаем в режим предсказания
|
18 |
|
19 |
def generate_response(history):
|
20 |
-
# Если history пустой, берем сообщение из текстового поля (msg)
|
|
|
21 |
if not history:
|
22 |
-
# Получаем сообщение из текстового поля через Gradio (предполагаем, что оно передается отдельно)
|
23 |
raise gr.Error("Пожалуйста, введите сообщение в текстовое поле перед отправкой.") # Проверка на случай, если сообщение не введено
|
24 |
# Берем последний вопрос пользователя
|
25 |
-
user_message = history[-1][0] if history else
|
|
|
|
|
26 |
# Генерируем ответ
|
27 |
inputs = tokenizer(user_message, return_tensors="pt").to("cpu")
|
28 |
outputs = model.generate(
|
|
|
5 |
|
6 |
# Загружаем базовую модель и токенизатор
|
7 |
base_model_name = "t-tech/T-lite-it-1.0"
|
8 |
+
lora_repo = "sha03d/my-t-lite-qlora" # Замени на твой логин
|
9 |
|
10 |
tokenizer = AutoTokenizer.from_pretrained(base_model_name)
|
11 |
base_model = AutoModelForCausalLM.from_pretrained(
|
|
|
17 |
model.eval() # Переключаем в режим предсказания
|
18 |
|
19 |
def generate_response(history):
|
20 |
+
# Если history пустой, берем последнее сообщение из текстового поля (msg)
|
21 |
+
# Но в данном случае Gradio передаёт history, поэтому используем его
|
22 |
if not history:
|
|
|
23 |
raise gr.Error("Пожалуйста, введите сообщение в текстовое поле перед отправкой.") # Проверка на случай, если сообщение не введено
|
24 |
# Берем последний вопрос пользователя
|
25 |
+
user_message = history[-1][0] if history else None # Если history пуст, возвращаем None (добавим позже логику с msg)
|
26 |
+
if user_message is None:
|
27 |
+
raise gr.Error("Пожалуйста, введите сообщение в текстовое поле перед отправкой.")
|
28 |
# Генерируем ответ
|
29 |
inputs = tokenizer(user_message, return_tensors="pt").to("cpu")
|
30 |
outputs = model.generate(
|