fix bug

rag_pipeline.py

@@ -80,60 +80,16 @@ def initialize_components(data_path):
         "bm25_model": bm25_model
     }
 
-def _format_context_with_summary(retrieved_results: list[dict]) -> str:
-    """
-    Hàm phụ trợ: Định dạng ngữ cảnh từ kết quả truy xuất, bổ sung tóm tắt từ metadata.
-    Hàm này được tách ra để làm cho code sạch sẽ và dễ quản lý hơn.
-    """
-    if not retrieved_results:
-        return "Không tìm thấy thông tin luật liên quan trong cơ sở dữ liệu."
-
-    context_parts = []
-    for i, res in enumerate(retrieved_results):
-        metadata = res.get('metadata', {})
-        text = res.get('text', '*Nội dung không có*')
-        
-        # Tạo header rõ ràng
-        header = f"Trích dẫn {i+1}: Điều {metadata.get('article', 'N/A')}, Điểm {metadata.get('point_id', '')} Khoản {metadata.get('clause_number', 'N/A')} (Nguồn: {metadata.get('source_document', 'N/A')})"
-        
-        # --- LOGIC TÓM TẮT THÔNG MINH TỪ METADATA ---
-        metadata_summary = ""
-        penalty_details_list = metadata.get("penalties_detail", [])
-        
-        if penalty_details_list:
-            summary_parts = []
-            # Chỉ lấy thông tin từ mục hình phạt đầu tiên trong danh sách
-            details = penalty_details_list[0].get('details', {})
-            
-            # Tóm tắt mức phạt tiền cho cá nhân (phổ biến nhất)
-            i_min = details.get("individual_fine_min")
-            i_max = details.get("individual_fine_max")
-            if i_min is not None and i_max is not None:
-                summary_parts.append(f"Phạt tiền cá nhân từ {i_min:,} - {i_max:,} đồng.")
-
-            # Tóm tắt mức trừ điểm
-            points = details.get("points_deducted")
-            if points is not None:
-                 summary_parts.append(f"Trừ {points} điểm GPLX.")
-            
-            if summary_parts:
-                 # Chèn dòng tóm tắt vào giữa header và text
-                 metadata_summary = f"\n[Tóm tắt từ metadata: {' '.join(summary_parts)}]"
-
-        context_parts.append(f"{header}{metadata_summary}\n{text}")
-        
-    return "\n\n---\n\n".join(context_parts)
-
-
 def generate_response(query: str, components: dict) -> str:
     """
     Tạo câu trả lời (single-turn) bằng cách sử dụng các thành phần đã được khởi tạo.
-    Phiên bản đã được tối ưu và tái cấu trúc.
+    Phiên bản này được sửa đổi để tương thích với các mô hình Vision (đa phương thức)
+    bằng cách sử dụng chat template.
     """
     print("--- Bắt đầu quy trình RAG cho query mới ---")
     
-    # 1. Truy xuất ngữ cảnh bằng retriever đã được nâng cấp
-    # (Giả định search_relevant_laws đã được sửa để ưu tiên loại xe)
+    # --- Bước 1: Truy xuất Ngữ cảnh (Không thay đổi) ---
+    # (Hàm này giả định bạn đã có phiên bản retriever.py đã sửa lỗi logic boosting)
     retrieved_results = search_relevant_laws(
         query_text=query,
         embedding_model=components["embedding_model"],
@@ -144,39 +100,61 @@ def generate_response(query: str, components: dict) -> str:
         initial_k_multiplier=15
     )
 
-    # 2. Định dạng Context một cách thông minh bằng hàm phụ trợ
-    context = _format_context_with_summary(retrieved_results)
-
-    # 3. Xây dựng Prompt
-    prompt = f"""Bạn là một trợ lý pháp luật chuyên trả lời các câu hỏi về luật giao thông Việt Nam. Dựa vào các trích dẫn luật dưới đây để trả lời câu hỏi của người dùng một cách chính xác.
+    # --- Bước 2: Định dạng Ngữ cảnh (Không thay đổi, nhưng nên tách ra hàm riêng) ---
+    if not retrieved_results:
+        context = "Không tìm thấy thông tin luật liên quan trong cơ sở dữ liệu."
+    else:
+        context_parts = []
+        for i, res in enumerate(retrieved_results):
+            metadata = res.get('metadata', {})
+            header = f"Trích dẫn {i+1}: Điều {metadata.get('article', 'N/A')}, Khoản {metadata.get('clause_number', 'N/A')} (Nguồn: {metadata.get('source_document', 'N/A')})"
+            text = res.get('text', '*Nội dung không có*')
+            context_parts.append(f"{header}\n{text}")
+        context = "\n\n---\n\n".join(context_parts)
+
+    # --- Bước 3: Xây dựng Prompt bằng Chat Template (Đây là phần thay đổi chính) ---
+    print("--- Xây dựng prompt bằng chat template ---")
+    llm_model = components["llm_model"]
+    tokenizer = components["tokenizer"]
+    
+    # Tạo cấu trúc tin nhắn theo chuẩn của các mô hình hội thoại
+    messages = [
+        {
+            "role": "system",
+            "content": "Bạn là một trợ lý pháp luật chuyên trả lời các câu hỏi liên quan đến luật giao thông đường bộ Việt Nam. Hãy dựa vào các thông tin được cung cấp để trả lời một cách chính xác và dễ hiểu."
+        },
+        {
+            "role": "user",
+            "content": f"""Dựa vào các trích dẫn luật dưới đây:
 
 ### Thông tin luật:
 {context}
 
 ### Câu hỏi:
 {query}
+"""
+        }
+    ]
+    
+    # Sử dụng apply_chat_template để tạo prompt hoàn chỉnh.
+    # Thêm `add_generation_prompt=True` để nó tự động thêm vai trò "assistant" ở cuối,
+    # báo hiệu cho model bắt đầu sinh câu trả lời.
+    prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
 
-### Trả lời:"""
-
-    # 4. Tạo câu trả lời từ LLM
-    llm_model = components["llm_model"]
-    tokenizer = components["tokenizer"]
+    # --- Bước 4: Tạo câu trả lời từ LLM (Không thay đổi) ---
+    print("--- Bắt đầu tạo câu trả lời từ LLM ---")
     
-    # Chuyển input lên cùng device với model
-    inputs = tokenizer(prompt, return_tensors="pt").to(llm_model.device)
+    inputs = tokenizer([prompt], return_tensors="pt").to(llm_model.device)
 
-    # Cấu hình generation tối ưu cho việc trả lời câu hỏi dựa trên facts
     generation_config = dict(
         max_new_tokens=256,
-        temperature=0.1,         # Rất thấp để câu trả lời bám sát ngữ cảnh
-        repetition_penalty=1.1,  # Phạt nhẹ việc lặp từ
-        do_sample=True,          # Vẫn cần bật để temperature và các tham số khác có hiệu lực
+        temperature=0.1,
+        repetition_penalty=1.1,
+        do_sample=True,
         pad_token_id=tokenizer.eos_token_id
     )
     
     output_ids = llm_model.generate(**inputs, **generation_config)
-    
-    # Chỉ decode phần văn bản được sinh ra mới, bỏ qua phần prompt
     response_text = tokenizer.decode(output_ids[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)
 
     print("--- Tạo câu trả lời hoàn tất ---")