update: re-rank docs

utils/AdvancedLawRetriever.py

@@ -181,13 +181,50 @@ class AdvancedLawRetriever(BaseRetriever):
         contents_to_rank = [item["structured_content"] for item in docs_for_reranking]
 
         try:
-            # Sử dụng câu hỏi đã được viết lại để có ngữ cảnh tốt nhất
-            ranked_results_info = self.reranker.predict(rewritten_query, contents_to_rank, return_documents=False, top_k=self.default_k * 2) # Lấy nhiều hơn một chút
+            # Kiểm tra nếu không có ứng viên nào để re-rank
+            if not final_candidates_for_rerank:
+                logger.warning("No candidates found for re-ranking. Returning empty list.")
+                return []
+
+            logger.info(f"Applying Cross-Encoder re-ranking to {len(final_candidates_for_rerank)} candidates...")
+
+            # SỬ DỤNG PHƯƠNG THỨC .compress_documents()
+            # Đây là phương thức chính của CrossEncoderReranker trong LangChain.
+            # Nó nhận danh sách Document và một chuỗi query, sau đó trả về
+            # danh sách Document đã được sắp xếp lại và lọc theo top_n.
+            reranked_docs = self.reranker.compress_documents(
+                documents=final_candidates_for_rerank,
+                query=rewritten_query
+            )
+
+            # `reranked_docs` bây giờ là một danh sách các tài liệu tốt nhất,
+            # đã được lọc theo `top_n` bạn đã cấu hình trong get_reranker_compressor (mặc định là 4).
+            logger.info(f"Re-ranking complete. Found {len(reranked_docs)} relevant documents.")
+
+            # Thêm log chi tiết để debug
+            # ---- LOGGING ĐỂ DEBUG ----
+            logger.info("--- Top documents after re-ranking ---")
+            for i, doc in enumerate(reranked_docs):
+                doc_info = {
+                    "content_preview": doc.page_content[:200] + "...",
+                    "metadata": doc.metadata,
+                    # CrossEncoderReranker sẽ thêm điểm số vào metadata
+                    "relevance_score": doc.metadata.get('relevance_score')
+                }
+                logger.info(f"Doc {i+1}: {doc_info}")
+            # ---- KẾT THÚC LOGGING ----
+
+            return reranked_docs
+
         except Exception as e:
-            logger.error(f"Failed to re-rank with custom structured content: {e}. Falling back to default re-ranking.")
-            # Fallback về cách re-rank mặc định nếu có lỗi
-            reranked_docs = self.reranker.compress_documents(final_candidates_for_rerank, rewritten_query)
-            return reranked_docs[:self.default_k]
+            import traceback
+            logger.error(f"An unexpected error occurred during re-ranking: {e}\n{traceback.format_exc()}")
+
+            # Fallback an toàn: Trả về kết quả từ VectorDB mà không re-rank,
+            # lấy theo số lượng top_k của retriever ban đầu.
+            logger.warning("Falling back to returning top results from vector search without re-ranking.")
+            # Giả sử bạn có self.default_k được cấu hình
+            return final_candidates_for_rerank[:getattr(self, 'default_k', 4)]
 
         # Lấy lại các Document gốc theo thứ tự đã được re-rank
         final_reranked_docs = []