shao3d commited on
Commit
75bce61
·
verified ·
1 Parent(s): 3370f0b

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +6 -4
app.py CHANGED
@@ -5,7 +5,7 @@ from peft import PeftModel
5
 
6
  # Загружаем базовую модель и токенизатор
7
  base_model_name = "t-tech/T-lite-it-1.0"
8
- lora_repo = "shao3d/my-t-lite-qlora" # Замени на твой логин
9
 
10
  tokenizer = AutoTokenizer.from_pretrained(base_model_name)
11
  base_model = AutoModelForCausalLM.from_pretrained(
@@ -17,12 +17,14 @@ model = PeftModel.from_pretrained(base_model, lora_repo)
17
  model.eval() # Переключаем в режим предсказания
18
 
19
  def generate_response(history):
20
- # Если history пустой, берем сообщение из текстового поля (msg)
 
21
  if not history:
22
- # Получаем сообщение из текстового поля через Gradio (предполагаем, что оно передается отдельно)
23
  raise gr.Error("Пожалуйста, введите сообщение в текстовое поле перед отправкой.") # Проверка на случай, если сообщение не введено
24
  # Берем последний вопрос пользователя
25
- user_message = history[-1][0] if history else gr.State.value # Если history пуст, берем сообщение из State (опционально)
 
 
26
  # Генерируем ответ
27
  inputs = tokenizer(user_message, return_tensors="pt").to("cpu")
28
  outputs = model.generate(
 
5
 
6
  # Загружаем базовую модель и токенизатор
7
  base_model_name = "t-tech/T-lite-it-1.0"
8
+ lora_repo = "sha03d/my-t-lite-qlora" # Замени на твой логин
9
 
10
  tokenizer = AutoTokenizer.from_pretrained(base_model_name)
11
  base_model = AutoModelForCausalLM.from_pretrained(
 
17
  model.eval() # Переключаем в режим предсказания
18
 
19
  def generate_response(history):
20
+ # Если history пустой, берем последнее сообщение из текстового поля (msg)
21
+ # Но в данном случае Gradio передаёт history, поэтому используем его
22
  if not history:
 
23
  raise gr.Error("Пожалуйста, введите сообщение в текстовое поле перед отправкой.") # Проверка на случай, если сообщение не введено
24
  # Берем последний вопрос пользователя
25
+ user_message = history[-1][0] if history else None # Если history пуст, возвращаем None (добавим позже логику с msg)
26
+ if user_message is None:
27
+ raise gr.Error("Пожалуйста, введите сообщение в текстовое поле перед отправкой.")
28
  # Генерируем ответ
29
  inputs = tokenizer(user_message, return_tensors="pt").to("cpu")
30
  outputs = model.generate(