update: extract intent

utils/AdvancedLawRetriever.py

@@ -182,7 +182,7 @@ class AdvancedLawRetriever(BaseRetriever):
 
         try:
             # Sử dụng câu hỏi đã được viết lại để có ngữ cảnh tốt nhất
-            ranked_results_info = self.reranker.rank(rewritten_query, contents_to_rank, return_documents=False, top_k=self.default_k * 2) # Lấy nhiều hơn một chút
+            ranked_results_info = self.reranker.predict(rewritten_query, contents_to_rank, return_documents=False, top_k=self.default_k * 2) # Lấy nhiều hơn một chút
         except Exception as e:
             logger.error(f"Failed to re-rank with custom structured content: {e}. Falling back to default re-ranking.")
             # Fallback về cách re-rank mặc định nếu có lỗi
@@ -213,170 +213,103 @@ class AdvancedLawRetriever(BaseRetriever):
         info = {"base_filters": {}, "preferred_doc_type": None}
         query_lower = query.lower()
 
-        # 1. Suy luận field và entity
-        inferred_field = infer_field(query, None)
-        if inferred_field and inferred_field != "khac":
-            info["base_filters"]["field"] = inferred_field
+        intent_found = False
+
+        # --- Giai đoạn 1: Xác định ý định và loại văn bản ưu tiên ---
+        # Đặt các intent cụ thể và dễ xung đột lên đầu.
 
-        inferred_entities = infer_entity_type(query, inferred_field)
-        if inferred_entities:
-            info["base_filters"]["entity_type"] = inferred_entities
-
-        # 2. XÁC ĐỊNH Ý ĐỊNH -> ƯU TIÊN LOẠI VĂN BẢN
-        # Nếu câu hỏi về MỨC PHẠT, ưu tiên tuyệt đối NGHỊ ĐỊNH
-        if any(kw in query_lower for kw in [
-                # Mức phạt và tiền phạt
-                "phạt bao nhiêu", "mức xử phạt", "tiền phạt", "xử phạt", "phạt tiền",
-                "mức phạt", "số tiền phạt", "bị phạt", "chế phạt",
-                # Hình thức xử phạt
-                "tước bằng", "tạm giữ phương tiện", "tịch thu", "đình chỉ hoạt động",
-                "cảnh cáo", "khiển trách", "buộc khôi phục", "buộc tháo dỡ",
-                # Vi phạm cụ thể
-                "vi phạm giao thông", "vi phạm xây dựng", "vi phạm thuế", "vi phạm lao động",
-                "vi phạm môi trường", "vi phạm thương mại", "vi phạm y tế",
-                # Xử lý vi phạm
-                "biện pháp khắc phục", "hậu quả vi phạm", "trách nhiệm vi phạm"
-            ]):
+        # INTENT 1: Dữ kiện cụ thể (Diện tích, Dân số) - Rất cụ thể
+        if not intent_found and (
+            any(kw in query_lower for kw in ["diện tích", "dân số", "số lượng"])
+            and any(loc_kw in query_lower for loc_kw in ["tỉnh", "thành phố", "huyện", "xã", "việt nam"])
+        ):
+            info["preferred_doc_type"] = "NGHỊ QUYẾT"
+            logger.info("Intent detected: Specific Factual Data (Area, Population) -> Preferring 'NGHỊ QUYẾT'.")
+            intent_found = True
+            # Với intent này, chúng ta không áp dụng bộ lọc entity_type tự động.
+
+        # INTENT 2: Mức phạt / Chế tài - Rất cụ thể
+        if not intent_found and any(kw in query_lower for kw in [
+            "phạt bao nhiêu", "mức xử phạt", "tiền phạt", "xử phạt", "phạt tiền",
+            "mức phạt", "số tiền phạt", "bị phạt", "chế phạt", "tước bằng",
+            "tạm giữ phương tiện", "tịch thu", "vi phạm"
+        ]):
             info["preferred_doc_type"] = "NGHỊ ĐỊNH"
             logger.info("Intent detected: Sanction/Penalty -> Preferring 'NGHỊ ĐỊNH'.")
-        elif any(kw in query_lower for kw in [
-            # Thủ tục và hồ sơ
+            intent_found = True
+
+        # INTENT 3: Thủ tục hành chính - Cụ thể
+        if not intent_found and any(kw in query_lower for kw in [
             "thủ tục", "hồ sơ", "đăng ký", "cấp phép", "giấy phép", "chứng nhận",
             "xin phép", "nộp hồ sơ", "thời hạn giải quyết", "lệ phí", "phí", "thẩm quyền",
-            # Cơ quan thực hiện
-            "cơ quan nào", "nộp ở đâu", "ai cấp", "ai quyết định",
-            # Điều kiện và yêu cầu
-            "điều kiện", "yêu cầu", "tiêu chuẩn", "quy trình", "trình tự",
-            "cách thức", "làm thế nào", "how to"
+            "cơ quan nào", "nộp ở đâu", "ai cấp", "quy trình", "trình tự"
         ]):
             info["preferred_doc_type"] = "THÔNG TƯ"
-
             logger.info("Intent detected: Administrative Procedure -> Preferring 'THÔNG TƯ'.")
+            intent_found = True
 
-        elif any(kw in query_lower for kw in [
-            "diện tích", "dân số", "số lượng tỉnh", "bao nhiêu tỉnh", "danh sách"
-        ]) and any(loc_kw in query_lower for loc_kw in [
-            "tỉnh", "thành phố", "huyện", "xã", "việt nam"
-        ]):
-            info["preferred_doc_type"] = "NGHỊ QUYẾT" # Hoặc có thể là một list ['NGHỊ QUYẾT', 'QUYẾT ĐỊNH']
-            logger.info("Intent detected: Specific Factual Data (Area, Population) -> Preferring 'NGHỊ QUYẾT'.")
-        # 3. NGUYÊN TẮC CHUNG, QUYỀN NGHĨA VỤ, CẤU TRÚC NHÀ NƯỚC - Ưu tiên LUẬT
-        elif any(kw in query_lower for kw in [
-            # Nguyên tắc cơ bản
-            "nguyên tắc", "cơ sở", "căn cứ", "tôn chỉ", "mục đích", "ý nghĩa",
-            # Quyền và nghĩa vụ
-            "quyền và nghĩa vụ", "quyền", "nghĩa vụ", "trách nhiệm", "quyền hạn",
-            "quyền lợi", "lợi ích", "bảo vệ quyền", "thực hiện nghĩa vụ",
-            # Định nghĩa và khái niệm
-            "khái niệm", "định nghĩa", "là gì", "hiểu như thế nào", "có nghĩa",
-            "thuật ngữ", "giải thích", "ý nghĩa", "nội dung",
-            # Cấm và cho phép cơ bản
-            "cấm", "được phép", "không được", "nghiêm cấm", "hạn chế",
-            "cho phép", "được quyền", "có thể", "không được phép",
-            # Cấu trúc, phân cấp hành chính cơ bản (thêm mới)
-            "đơn vị hành chính", "cấp hành chính", "bao nhiêu cấp", "phân cấp",
-            "cấu trúc nhà nước", "hệ thống chính quyền", "chính quyền địa phương",
-            "cấp tỉnh", "cấp huyện", "cấp xã", "trung ương", "địa phương"
-        ]):
-            info["preferred_doc_type"] = "LUẬT"
-
-            logger.info("Intent detected: General Principle/Definition/Rights/Administrative Structure -> Preferring 'LUẬT'.")
-
-        # 4. TỔ CHỨC BỘ MÁY CỤ THỂ (không phải cấu trúc cơ bản) - Ưu tiên NGHỊ ĐỊNH/QUYẾT ĐỊNH
-        elif any(kw in query_lower for kw in [
-            # Tổ chức bộ máy cụ thể (loại trừ các từ về cấu trúc cơ bản)
-            "bộ máy", "cơ cấu tổ chức", "chức năng", "nhiệm vụ cụ thể",
-            "thành lập", "giải thể", "sáp nhập", "chia tách", "tái cơ cấu",
-            "nhân sự", "bổ nhiệm", "miễn nhiệm", "cán bộ", "công chức",
-            # Nhưng không bao gồm các câu hỏi về cấu trúc hành chính cơ bản
-        ]) and not any(basic_kw in query_lower for basic_kw in [
-            "đơn vị hành chính", "cấp hành chính", "bao nhiêu cấp", "phân cấp",
-            "cấu trúc nhà nước", "hệ thống chính quyền"
-        ]):
-            info["preferred_doc_type"] = "NGHỊ ĐỊNH"
-
-            logger.info("Intent detected: Organization Structure -> Preferring 'NGHỊ ĐỊNH'.")
-
-        # 5. BIỂU MẪU, DANH MỤC, ĐỊNH MỨC - Ưu tiên THÔNG TƯ
-        elif any(kw in query_lower for kw in [
+        # INTENT 4: Biểu mẫu / Tiêu chuẩn kỹ thuật - Cụ thể
+        if not intent_found and any(kw in query_lower for kw in [
             "biểu mẫu", "mẫu đơn", "form", "danh mục", "bảng biểu", "định mức",
-            "khung", "tiêu chuẩn kỹ thuật", "quy chuẩn", "đơn giá", "giá",
-            "template", "format", "pattern"
+            "khung", "tiêu chuẩn kỹ thuật", "quy chuẩn", "đơn giá"
         ]):
             info["preferred_doc_type"] = "THÔNG TƯ"
-
             logger.info("Intent detected: Forms/Standards/Rates -> Preferring 'THÔNG TƯ'.")
+            intent_found = True
 
-        # 6. TRANH CHẤP, GIẢI QUYẾT KHIẾU NẠI - Ưu tiên LUẬT/NGHỊ ĐỊNH
-        elif any(kw in query_lower for kw in [
-            "tranh chấp", "khiếu nại", "tố cáo", "giải quyết", "xử lý",
-            "phúc thẩm", "kháng cáo", "kháng nghị", "tái thẩm",
-            "hòa giải", "trọng tài", "kiện", "khởi kiện", "đòi bồi thường"
-        ]):
-            info["preferred_doc_type"] = "LUẬT"
-
-            logger.info("Intent detected: Dispute Resolution -> Preferring 'LUẬT'.")
-
-        # 7. BẢO HIỂM, PHÚC LỢI XÃ HỘI - Ưu tiên NGHỊ ĐỊNH
-        elif any(kw in query_lower for kw in [
-            "bảo hiểm", "bhxh", "bhyt", "bhtn", "bảo hiểm xã hội",
-            "lương hưu", "trợ cấp", "phúc lợi", "ốm đau", "thai sản",
-            "tai nạn lao động", "bệnh nghề nghiệp", "mức đóng", "mức hưởng"
-        ]):
-            info["preferred_doc_type"] = "NGHỊ ĐỊNH"
-
-            logger.info("Intent detected: Social Insurance/Welfare -> Preferring 'NGHỊ ĐỊNH'.")
-
-        # 8. THUẾ, PHÍ, LỆ PHÍ - Ưu tiên THÔNG TƯ/NGHỊ ĐỊNH
-        elif any(kw in query_lower for kw in [
-            "thuế", "phí", "lệ phí", "thuế suất", "miễn thuế", "giảm thuế",
-            "khai thuế", "nộp thuế", "hoàn thuế", "khấu trừ", "tạm nộp",
-            "thuế thu nhập", "thuế gtgt", "thuế ttđb", "thuế xuất nhập khẩu"
-        ]):
-            info["preferred_doc_type"] = "THÔNG TƯ"
-
-            logger.info("Intent detected: Tax/Fee -> Preferring 'THÔNG TƯ'.")
-
-        # 9. ĐẤU THẦU, MUA SẮM CÔNG - Ưu tiên NGHỊ ĐỊNH
-        elif any(kw in query_lower for kw in [
-            "đấu thầu", "mua sắm công", "gói thầu", "hồ sơ mời thầu",
-            "tham gia thầu", "trúng thầu", "loại thầu", "đánh giá thầu",
-            "bảo đảm thầu", "hợp đồng thầu"
-        ]):
-            info["preferred_doc_type"] = "NGHỊ ĐỊNH"
-
-            logger.info("Intent detected: Bidding/Public Procurement -> Preferring 'NGHỊ ĐỊNH'.")
-
-        # 10. ĐỊA CHÍNH, ĐẤT ĐAI - Ưu tiên LUẬT/NGHỊ ĐỊNH
-        elif any(kw in query_lower for kw in [
-            "đất đai", "quyền sử dụng đất", "sổ đỏ", "chuyển nhượng đất",
-            "thu hồi đất", "bồi thường đất", "giá đất", "địa chính",
-            "cấp sổ", "thửa đất", "diện tích đất", "mục đích sử dụng"
-        ]):
-            info["preferred_doc_type"] = "LUẬT"
-
-            logger.info("Intent detected: Land/Real Estate -> Preferring 'LUẬT'.")
-
-        # 11. LAO ĐỘNG VIỆC LÀM - Ưu tiên BỘ LUẬT/NGHỊ ĐỊNH
-        elif any(kw in query_lower for kw in [
-            "hợp đồng lao động", "chấm dứt hợp đồng", "sa thải", "nghỉ việc",
-            "lương", "thưởng", "phụ cấp", "tăng ca", "nghỉ phép", "thai sản",
-            "thời giờ làm việc", "an toàn lao động", "bảo hộ lao động"
+        # INTENT 5: Tổ chức bộ máy cụ thể (Sáp nhập, thành lập) - Chung hơn
+        # Phải đứng trước intent về Nguyên tắc chung để bắt các case "sáp nhập đơn vị hành chính"
+        if not intent_found and any(kw in query_lower for kw in [
+            "bộ máy", "cơ cấu tổ chức", "chức năng", "nhiệm vụ cụ thể",
+            "thành lập", "giải thể", "sáp nhập", "chia tách", "tái cơ cấu",
+            "bổ nhiệm", "miễn nhiệm"
         ]):
-            info["preferred_doc_type"] = "BỘ LUẬT"
-
-            logger.info("Intent detected: Labor/Employment -> Preferring 'BỘ LUẬT'.")
-
-        # 12. KINH DOANH, DOANH NGHIỆP - Ưu tiên LUẬT/NGHỊ ĐỊNH
-        elif any(kw in query_lower for kw in [
-            "thành lập doanh nghiệp", "đăng ký kinh doanh", "giấy cnđkdn",
-            "vốn điều lệ", "cổ phần", "thành viên", "cổ đông", "hội đồng quản trị",
-            "tái cơ cấu", "chia tách", "sáp nhập", "chuyển đổi loại hình",
-            "giải thể", "phá sản", "thanh lý"
+            info["preferred_doc_type"] = "NGHỊ ĐỊNH" # Có thể là NGHỊ QUYẾT nữa
+            logger.info("Intent detected: Specific Organization Structure -> Preferring 'NGHỊ ĐỊNH'.")
+            intent_found = True
+
+        # INTENT 6: Nguyên tắc chung / Định nghĩa / Cấu trúc cơ bản - Rất chung
+        # Đặt cuối cùng để nó chỉ bắt các câu hỏi chung chung thực sự.
+        if not intent_found and any(kw in query_lower for kw in [
+            "nguyên tắc", "quyền và nghĩa vụ", "quyền", "nghĩa vụ", "trách nhiệm",
+            "khái niệm", "định nghĩa", "là gì", "hiểu như thế nào", "nghiêm cấm",
+            "đơn vị hành chính", "cấp hành chính", "bao nhiêu cấp", "phân cấp",
+            "cấu trúc nhà nước", "hệ thống chính quyền"
         ]):
             info["preferred_doc_type"] = "LUẬT"
+            logger.info("Intent detected: General Principle/Definition/Rights/Administrative Structure -> Preferring 'LUẬT'.")
+            intent_found = True
 
-            logger.info("Intent detected: Business/Enterprise -> Preferring 'LUẬT'.")
+        # --- Giai đoạn 2: Áp dụng bộ lọc (filters) một cách có kiểm soát ---
 
-        logger.info(f"Extracted query info: {info}")
-        return info
+        # 2.1. Lọc theo lĩnh vực (field) - Có thể áp dụng cho hầu hết các trường hợp
+        inferred_field = infer_field(query, None)
+        if inferred_field and inferred_field != "khac":
+            info["base_filters"]["field"] = inferred_field
+            logger.info(f"Applying filter: field = {inferred_field}")
+
+        # 2.2. Lọc theo loại thực thể (entity_type) - CHỈ áp dụng khi thực sự cần thiết
+        # Chúng ta KHÔNG áp dụng bộ lọc này cho các câu hỏi về dữ kiện địa lý
+        # hoặc các câu hỏi chung chung có thể không có entity_type rõ ràng.
+        # Ví dụ, chỉ áp dụng cho các câu hỏi về thủ tục, tổ chức, chế tài...
+
+        # Lấy lại intent đã xác định ở trên để quyết định
+        current_intent_log = logger.handlers[0].records[-1].msg if logger.handlers and logger.handlers[0].records else ""
+
+        # Chỉ áp dụng entity filter cho các intent này
+        applicable_intents_for_entity_filter = [
+            "Sanction/Penalty",
+            "Administrative Procedure",
+            "Specific Organization Structure"
+        ]
+
+        if any(intent_name in current_intent_log for intent_name in applicable_intents_for_entity_filter):
+            inferred_entities = infer_entity_type(query, inferred_field)
+            if inferred_entities:
+                info["base_filters"]["entity_type"] = inferred_entities
+                logger.info(f"Applying filter: entity_type = {inferred_entities}")
+        else:
+            logger.info("Skipping entity_type filter for the detected intent.")
+
+        logger.info(f"Final extracted query info: {info}")
+        return info