Spaces:
Paused
Paused
fix multimodal error
Browse files- rag_pipeline.py +5 -4
rag_pipeline.py
CHANGED
@@ -138,10 +138,11 @@ def generate_response(query: str, components: dict) -> str:
|
|
138 |
# SỬA LỖI: Dùng apply_chat_template để tokenize trực tiếp
|
139 |
# Nó sẽ tự động định dạng và chuyển thành tensor, tương thích với mô hình Vision
|
140 |
inputs = tokenizer.apply_chat_template(
|
141 |
-
|
142 |
-
|
143 |
-
|
144 |
-
|
|
|
145 |
|
146 |
# --- Bước 4: Tạo câu trả lời từ LLM ---
|
147 |
print("--- Bắt đầu tạo câu trả lời từ LLM ---")
|
|
|
138 |
# SỬA LỖI: Dùng apply_chat_template để tokenize trực tiếp
|
139 |
# Nó sẽ tự động định dạng và chuyển thành tensor, tương thích với mô hình Vision
|
140 |
inputs = tokenizer.apply_chat_template(
|
141 |
+
messages,
|
142 |
+
tokenize=True,
|
143 |
+
add_generation_prompt=True,
|
144 |
+
return_tensors="pt"
|
145 |
+
).to(llm_model.device)
|
146 |
|
147 |
# --- Bước 4: Tạo câu trả lời từ LLM ---
|
148 |
print("--- Bắt đầu tạo câu trả lời từ LLM ---")
|