update full version

.gitattributes

@@ -33,3 +33,5 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
 *.zip filter=lfs diff=lfs merge=lfs -text
 *.zst filter=lfs diff=lfs merge=lfs -text
 *tfevents* filter=lfs diff=lfs merge=lfs -text
+models/lora_model_base/tokenizer.json filter=lfs diff=lfs merge=lfs -text
+*.index filter=lfs diff=lfs merge=lfs -text

app.py

@@ -1,358 +1,144 @@
-# app.py
-# File triển khai hoàn chỉnh cho đồ án Chatbot Luật Giao thông
-# Tác giả: (Tên của bạn)
-# Ngày: (Ngày bạn tạo)
-
-# --- PHẦN 1: IMPORT CÁC THƯ VIỆN CẦN THIẾT ---
-print("Bắt đầu import các thư viện...")
-import os
-import sys
-import json
-import re
-import time
-from collections import defaultdict
-
-# Core ML/DL và Unsloth
-import torch
-from unsloth import FastLanguageModel
-from transformers import TextStreamer
-
-# RAG - Retrieval
-import faiss
+import gradio as gr
+import torch # Cần cho việc kiểm tra CUDA và device
+# Import các hàm và lớp từ các file của bạn
+from retrieval import (
+    process_law_data_to_chunks,
+    # VEHICLE_TYPE_MAP, # Có thể không cần import trực tiếp nếu chỉ dùng trong retrieval.py
+    # get_standardized_vehicle_type, # Tương tự
+    # analyze_query, # Được gọi bởi search_relevant_laws
+    tokenize_vi_for_bm25_setup, # Cần cho BM25
+    search_relevant_laws
+)
+from llm_handler import generate_response # Giả sử hàm này đã được điều chỉnh để nhận model, tokenizer, etc.
 from sentence_transformers import SentenceTransformer
+import faiss
 from rank_bm25 import BM25Okapi
-import numpy as np
-
-# Deployment
-import gradio as gr
-
-print("✅ Import thư viện thành công.")
-
-# --- PHẦN 2: CẤU HÌNH VÀ TẢI TÀI NGUYÊN (MODELS & DATA) ---
-# Phần này sẽ chỉ chạy một lần khi ứng dụng khởi động.
-
-# Cấu hình mô hình
-MAX_SEQ_LENGTH = 2048
-DTYPE = None
-LOAD_IN_4BIT = True
-EMBEDDING_MODEL_NAME = "bkai-foundation-models/vietnamese-bi-encoder"
-LLM_MODEL_NAME = "unsloth/Llama-3.2-3B-Instruct-bnb-4bit"
-LAW_DATA_FILE = "luat_chi_tiet_output_openai_sdk_final_cleaned.json"
-
-# Biến toàn cục để lưu các tài nguyên đã tải
-# Điều này giúp tránh việc phải tải lại mô hình mỗi khi người dùng gửi yêu cầu.
-MODELS_AND_DATA = {
-    "llm_model": None,
-    "tokenizer": None,
-    "embedding_model": None,
-    "faiss_index": None,
-    "bm25_model": None,
-    "chunks_data": None,
-    "tokenized_corpus_bm25": None,
-}
-
-# --- Các hàm xử lý dữ liệu (từ các notebook của bạn) ---
-
-def process_law_data_to_chunks(structured_data_input):
-    """
-    Hàm làm phẳng dữ liệu luật có cấu trúc chi tiết thành danh sách các chunks.
-    Mỗi chunk chứa 'text' và 'metadata'.
-    """
-    flat_list = []
-    articles_list = []
-    if isinstance(structured_data_input, dict) and "article" in structured_data_input:
-        articles_list = [structured_data_input]
-    elif isinstance(structured_data_input, list):
-        articles_list = structured_data_input
-    else:
-        print("Lỗi: Dữ liệu đầu vào không hợp lệ.")
-        return flat_list
-
-    for article_data in articles_list:
-        if not isinstance(article_data, dict): continue
-        article_metadata_base = {
-            "source_document": article_data.get("source_document"),
-            "article": article_data.get("article"),
-            "article_title": article_data.get("article_title")
-        }
-        clauses = article_data.get("clauses", [])
-        if not isinstance(clauses, list): continue
-
-        for clause_data in clauses:
-            if not isinstance(clause_data, dict): continue
-            clause_metadata_base = article_metadata_base.copy()
-            clause_metadata_base.update({
-                "clause_number": clause_data.get("clause_number"),
-                "clause_metadata_summary": clause_data.get("clause_metadata_summary")
-            })
-            points_in_clause = clause_data.get("points_in_clause", [])
-            if not isinstance(points_in_clause, list): continue
-
-            if points_in_clause:
-                for point_data in points_in_clause:
-                    if not isinstance(point_data, dict): continue
-                    chunk_text = point_data.get("point_text_original") or point_data.get("violation_description_summary")
-                    if not chunk_text: continue
-                    
-                    current_point_metadata = clause_metadata_base.copy()
-                    point_specific_metadata = point_data.copy()
-                    if "point_text_original" in point_specific_metadata:
-                        del point_specific_metadata["point_text_original"]
-                    current_point_metadata.update(point_specific_metadata)
-                    final_metadata_cleaned = {k: v for k, v in current_point_metadata.items() if v is not None}
-                    flat_list.append({"text": chunk_text, "metadata": final_metadata_cleaned})
-            else:
-                chunk_text = clause_data.get("clause_text_original")
-                if chunk_text:
-                    current_clause_metadata = clause_metadata_base.copy()
-                    additional_clause_info = {k: v for k, value in clause_data.items() if k not in ["clause_text_original", "points_in_clause", "clause_number", "clause_metadata_summary"]}
-                    if additional_clause_info:
-                        current_clause_metadata.update(additional_clause_info)
-                    final_metadata_cleaned = {k: v for k, v in current_clause_metadata.items() if v is not None}
-                    flat_list.append({"text": chunk_text, "metadata": final_metadata_cleaned})
-    return flat_list
-
-def tokenize_vi_for_bm25(text):
-    """Hàm tokenize tiếng Việt đơn giản cho BM25."""
-    text = text.lower()
-    text = re.sub(r'[^\w\s]', '', text)
-    return text.split()
-
-def load_all_resources():
-    """
-    Hàm chính để tải tất cả mô hình và dữ liệu cần thiết.
-    Chỉ chạy một lần khi ứng dụng khởi động.
-    """
-    print("--- Bắt đầu quá trình tải tài nguyên ---")
-    
-    # 1. Tải mô hình LLM và Tokenizer
-    print(f"1. Đang tải LLM và Tokenizer: {LLM_MODEL_NAME}...")
-    llm_model, tokenizer = FastLanguageModel.from_pretrained(
-        model_name=LLM_MODEL_NAME,
-        max_seq_length=MAX_SEQ_LENGTH,
-        dtype=DTYPE,
-        load_in_4bit=LOAD_IN_4BIT,
-    )
-    FastLanguageModel.for_inference(llm_model)
-    MODELS_AND_DATA["llm_model"] = llm_model
-    MODELS_AND_DATA["tokenizer"] = tokenizer
-    print("✅ Tải LLM và Tokenizer thành công.")
-
-    # 2. Tải mô hình Embedding
-    print(f"2. Đang tải Embedding Model: {EMBEDDING_MODEL_NAME}...")
-    embedding_model = SentenceTransformer(EMBEDDING_MODEL_NAME, device="cuda" if torch.cuda.is_available() else "cpu")
-    MODELS_AND_DATA["embedding_model"] = embedding_model
-    print("✅ Tải Embedding Model thành công.")
-
-    # 3. Tải và xử lý dữ liệu luật
-    print(f"3. Đang tải và xử lý dữ liệu từ: {LAW_DATA_FILE}...")
-    if not os.path.exists(LAW_DATA_FILE):
-        raise FileNotFoundError(f"Không tìm thấy file dữ liệu luật: {LAW_DATA_FILE}. Vui lòng upload file này lên Space.")
-    with open(LAW_DATA_FILE, 'r', encoding='utf-8') as f:
+import json
+from unsloth import FastLanguageModel # Từ llm_handler.py hoặc import trực tiếp nếu logic tải model ở đây
+
+# --- KHỞI TẠO MỘT LẦN KHI APP KHỞI ĐỘNG ---
+# Đường dẫn (điều chỉnh nếu cần, có thể dùng os.path.join)
+JSON_FILE_PATH = "data/luat_chi_tiet_output_openai_sdk_final_cleaned.json"
+FAISS_INDEX_PATH = "data/my_law_faiss_flatip_normalized.index"
+LLM_MODEL_PATH = "models/lora_model_base" # Hoặc đường dẫn cục bộ
+EMBEDDING_MODEL_PATH = "models/embedding_model"
+
+# 1. Tải và xử lý dữ liệu luật
+print("Loading and processing law data...")
+try:
+    with open(JSON_FILE_PATH, 'r', encoding='utf-8') as f:
         raw_data_from_file = json.load(f)
     chunks_data = process_law_data_to_chunks(raw_data_from_file)
-    MODELS_AND_DATA["chunks_data"] = chunks_data
-    print(f"✅ Đã xử lý thành {len(chunks_data)} chunks.")
-
-    # 4. Tạo BM25 Model
-    print("4. Đang tạo BM25 Model...")
-    corpus_texts = [chunk.get('text', '') for chunk in chunks_data]
-    tokenized_corpus = [tokenize_vi_for_bm25(text) for text in corpus_texts]
-    bm25_model = BM25Okapi(tokenized_corpus)
-    MODELS_AND_DATA["bm25_model"] = bm25_model
-    MODELS_AND_DATA["tokenized_corpus_bm25"] = tokenized_corpus
-    print("✅ Tạo BM25 Model thành công.")
-
-    # 5. Tạo FAISS Index
-    print("5. Đang tạo FAISS Index...")
-    texts_to_encode = [chunk.get('text', '') for chunk in chunks_data]
-    chunk_embeddings = embedding_model.encode(texts_to_encode, convert_to_tensor=True, device=embedding_model.device)
-    chunk_embeddings_np = chunk_embeddings.cpu().numpy().astype('float32')
-    faiss.normalize_L2(chunk_embeddings_np)
-    dimension = chunk_embeddings_np.shape[1]
-    index = faiss.IndexFlatIP(dimension)
-    index.add(chunk_embeddings_np)
-    MODELS_AND_DATA["faiss_index"] = index
-    print(f"✅ Tạo FAISS Index thành công với {index.ntotal} vectors.")
-
-    print("\n--- Tải tài nguyên hoàn tất! Ứng dụng đã sẵn sàng. ---")
-
-# --- PHẦN 3: CÁC HÀM LÕI CHO RAG ---
-
-def search_relevant_laws(query_text, k=5, initial_k_multiplier=10, rrf_k_constant=60):
-    """
-    Hàm thực hiện Hybrid Search để tìm các đoạn luật liên quan.
-    """
-    # Lấy các tài nguyên đã tải
-    embedding_model = MODELS_AND_DATA["embedding_model"]
-    faiss_index = MODELS_AND_DATA["faiss_index"]
-    chunks_data = MODELS_AND_DATA["chunks_data"]
-    bm25_model = MODELS_AND_DATA["bm25_model"]
-
-    if not all([embedding_model, faiss_index, chunks_data, bm25_model]):
-        return "Lỗi: Tài nguyên chưa được tải xong. Vui lòng chờ."
-
-    # 1. Semantic Search (FAISS)
-    query_embedding = embedding_model.encode([query_text], convert_to_tensor=True, device=embedding_model.device)
-    query_embedding_np = query_embedding.cpu().numpy().astype('float32')
-    faiss.normalize_L2(query_embedding_np)
-    num_candidates = min(k * initial_k_multiplier, faiss_index.ntotal)
-    semantic_scores, semantic_indices = faiss_index.search(query_embedding_np, num_candidates)
-
-    # 2. Keyword Search (BM25)
-    tokenized_query = tokenize_vi_for_bm25(query_text)
-    bm25_scores = bm25_model.get_scores(tokenized_query)
-    bm25_results = sorted(enumerate(bm25_scores), key=lambda x: x[1], reverse=True)[:num_candidates]
-
-    # 3. Reciprocal Rank Fusion (RRF)
-    rrf_scores = defaultdict(float)
-    if semantic_indices.size > 0:
-        for rank, doc_idx in enumerate(semantic_indices[0]):
-            if doc_idx != -1: rrf_scores[doc_idx] += 1.0 / (rrf_k_constant + rank)
-    for rank, (doc_idx, score) in enumerate(bm25_results):
-        if score > 0: rrf_scores[doc_idx] += 1.0 / (rrf_k_constant + rank)
-    
-    fused_results = sorted(rrf_scores.items(), key=lambda x: x[1], reverse=True)
-
-    # 4. Lấy kết quả cuối cùng
-    final_results = []
-    for doc_idx, score in fused_results[:k]:
-        result = chunks_data[doc_idx].copy()
-        result['score'] = score
-        final_results.append(result)
-        
-    return final_results
-
-def generate_llm_response(query, context):
-    """
-    Hàm sinh câu trả lời từ LLM dựa trên query và context.
-    """
-    llm_model = MODELS_AND_DATA["llm_model"]
-    tokenizer = MODELS_AND_DATA["tokenizer"]
-
-    prompt = f"""Dưới đây là một số thông tin trích dẫn từ văn bản luật giao thông đường bộ Việt Nam.
-Hãy SỬ DỤNG CÁC THÔNG TIN NÀY để trả lời câu hỏi một cách chính xác và đầy đủ.
-Nếu câu hỏi đưa ra nhiều đáp án thì chọn 1 đáp án đúng nhất.
-
-### Thông tin luật:
-{context}
-
-### Câu hỏi:
-{query}
-
-### Trả lời:"""
-
-    inputs = tokenizer(prompt, return_tensors="pt").to("cuda")
-    generation_config = dict(
-        max_new_tokens=300,
-        temperature=0.2,
-        top_p=0.7,
-        do_sample=True,
-        pad_token_id=tokenizer.eos_token_id,
-        eos_token_id=tokenizer.eos_token_id
-    )
-    output_ids = llm_model.generate(**inputs, **generation_config)
-    input_length = inputs.input_ids.shape[1]
-    generated_ids = output_ids[0][input_length:]
-    response_text = tokenizer.decode(generated_ids, skip_special_tokens=True)
-    return response_text
-
-# --- PHẦN 4: CÁC HÀM XỬ LÝ CHO GRADIO INTERFACE ---
-
-def run_retriever_only(query):
-    """
-    Chức năng 1: Chỉ tìm kiếm và trả về các điều luật liên quan.
-    """
-    print(f"Chạy chức năng Retriever cho query: '{query}'")
-    retrieved_results = search_relevant_laws(query)
-    
-    if isinstance(retrieved_results, str): # Xử lý trường hợp lỗi
-        return retrieved_results
-
-    if not retrieved_results:
-        return "Không tìm thấy điều luật nào liên quan."
-
-    # Định dạng output cho Gradio Markdown
-    formatted_output = f"### Các điều luật liên quan nhất đến truy vấn của bạn:\n\n"
-    for i, res in enumerate(retrieved_results):
-        metadata = res.get('metadata', {})
-        article = metadata.get('article', 'N/A')
-        clause = metadata.get('clause_number', 'N/A')
-        source = metadata.get('source_document', 'N/A')
-        text = res.get('text', 'N/A')
-        
-        formatted_output += f"**{i+1}. Nguồn: {source} | Điều {article} | Khoản {clause}**\n"
-        formatted_output += f"> {text}\n\n---\n\n"
-        
-    return formatted_output
-
-def run_full_rag(query, progress=gr.Progress()):
-    """
-    Chức năng 2: Thực hiện toàn bộ pipeline RAG.
-    """
-    progress(0, desc="Bắt đầu...")
-    
-    # Bước 1: Truy xuất ngữ cảnh
-    progress(0.2, desc="Đang tìm kiếm các điều luật liên quan (Hybrid Search)...")
-    print(f"Chạy chức năng RAG cho query: '{query}'")
-    retrieved_results = search_relevant_laws(query)
-    
-    if isinstance(retrieved_results, str) or not retrieved_results:
-        context_for_llm = "Không tìm thấy thông tin luật liên quan."
-        context_for_display = context_for_llm
-    else:
-        # Định dạng context cho LLM
-        context_parts = []
-        for res in retrieved_results:
-            text = res.get('text', '')
-            context_parts.append(text)
-        context_for_llm = "\n\n---\n\n".join(context_parts)
-        
-        # Định dạng context để hiển thị cho người dùng
-        context_for_display = run_retriever_only(query) # Tái sử dụng hàm retriever
-    
-    # Bước 2: Sinh câu trả lời
-    progress(0.7, desc="Đã có ngữ cảnh, đang yêu cầu LLM tạo câu trả lời...")
-    final_answer = generate_llm_response(query, context_for_llm)
-    
-    progress(1, desc="Hoàn tất!")
-    
-    return final_answer, context_for_display
-
-
-# --- PHẦN 5: KHỞI CHẠY ỨNG DỤNG GRADIO ---
-
-# Tải tài nguyên ngay khi script được chạy
-load_all_resources()
-
-with gr.Blocks(theme=gr.themes.Soft(), title="Chatbot Luật Giao thông") as demo:
-    gr.Markdown(
-        """
-        # ⚖️ Chatbot Luật Giao thông Việt Nam
-        Ứng dụng này sử dụng mô hình RAG (Retrieval-Augmented Generation) để trả lời các câu hỏi về luật giao thông.
-        """
+    print(f"Loaded {len(chunks_data)} chunks.")
+    if not chunks_data:
+        raise ValueError("Chunks data is empty after processing.")
+except Exception as e:
+    print(f"Error loading/processing law data: {e}")
+    chunks_data = [] # Hoặc xử lý lỗi khác
+
+# 2. Tải mô hình embedding
+print(f"Loading embedding model: {EMBEDDING_MODEL_PATH}...")
+device = "cuda" if torch.cuda.is_available() else "cpu"
+try:
+    embedding_model = SentenceTransformer(EMBEDDING_MODEL_PATH, device=device)
+    print("Embedding model loaded successfully.")
+except Exception as e:
+    print(f"Error loading embedding model: {e}")
+    embedding_model = None # Xử lý lỗi
+
+# 3. Tải FAISS index
+print(f"Loading FAISS index from: {FAISS_INDEX_PATH}...")
+try:
+    faiss_index = faiss.read_index(FAISS_INDEX_PATH)
+    print(f"FAISS index loaded. Total vectors: {faiss_index.ntotal}")
+except Exception as e:
+    print(f"Error loading FAISS index: {e}")
+    faiss_index = None # Xử lý lỗi
+
+# 4. Tạo BM25 model
+print("Creating BM25 model...")
+bm25_model = None
+if chunks_data:
+    try:
+        corpus_texts_for_bm25 = [chunk.get('text', '') for chunk in chunks_data]
+        tokenized_corpus_bm25 = [tokenize_vi_for_bm25_setup(text) for text in corpus_texts_for_bm25]
+        bm25_model = BM25Okapi(tokenized_corpus_bm25)
+        print("BM25 model created successfully.")
+    except Exception as e:
+        print(f"Error creating BM25 model: {e}")
+else:
+    print("Skipping BM25 model creation as chunks_data is empty.")
+
+
+# 5. Tải mô hình LLM và tokenizer (sử dụng Unsloth)
+print(f"Loading LLM model: {LLM_MODEL_PATH}...")
+try:
+    # Nên đặt logic tải model LLM vào llm_handler.py và gọi hàm đó ở đây
+    # Hoặc trực tiếp:
+    llm_model, llm_tokenizer = FastLanguageModel.from_pretrained(
+        model_name=LLM_MODEL_PATH, # Đường dẫn tới model đã fine-tune
+        max_seq_length=2048,
+        dtype=None, # Unsloth sẽ tự động chọn
+        load_in_4bit=True, # Sử dụng 4-bit quantization
     )
-    
-    with gr.Tabs():
-        # Tab 1: Chỉ tìm kiếm
-        with gr.TabItem("Tìm kiếm Điều luật (Retriever)"):
-            with gr.Row():
-                retriever_query = gr.Textbox(label="Nhập nội dung cần tìm kiếm", placeholder="Ví dụ: Vượt đèn đỏ bị phạt bao nhiêu tiền?", scale=4)
-                retriever_button = gr.Button("Tìm kiếm", variant="secondary", scale=1)
-            retriever_output = gr.Markdown(label="Các điều luật liên quan")
-        
-        # Tab 2: Hỏi-đáp RAG đầy đủ
-        with gr.TabItem("Hỏi-Đáp (RAG)"):
-            with gr.Row():
-                rag_query = gr.Textbox(label="Nhập câu hỏi của bạn", placeholder="Ví dụ: Phương tiện giao thông đường bộ gồm những loại nào?", scale=4)
-                rag_button = gr.Button("Gửi câu hỏi", variant="primary", scale=1)
-            rag_answer = gr.Textbox(label="Câu trả lời của Chatbot", lines=5)
-            with gr.Accordion("Xem ngữ cảnh đã sử dụng để tạo câu trả lời", open=False):
-                rag_context = gr.Markdown(label="Ngữ cảnh")
-
-    # Xử lý sự kiện click
-    retriever_button.click(fn=run_retriever_only, inputs=retriever_query, outputs=retriever_output)
-    rag_button.click(fn=run_full_rag, inputs=rag_query, outputs=[rag_answer, rag_context])
+    FastLanguageModel.for_inference(llm_model) # Tối ưu cho inference
+    print("LLM model and tokenizer loaded successfully.")
+except Exception as e:
+    print(f"Error loading LLM model: {e}")
+    llm_model = None
+    llm_tokenizer = None
+# --- KẾT THÚC KHỞI TẠO MỘT LẦN ---
+
+# Hàm respond mới sẽ sử dụng các model và data đã tải ở trên
+def respond(message, history: list[tuple[str, str]]):
+    if not all([chunks_data, embedding_model, faiss_index, bm25_model, llm_model, llm_tokenizer]):
+        # Ghi log chi tiết hơn ở đây nếu cần để biết thành phần nào bị thiếu
+        missing_components = []
+        if not chunks_data: missing_components.append("chunks_data")
+        if not embedding_model: missing_components.append("embedding_model")
+        if not faiss_index: missing_components.append("faiss_index")
+        if not bm25_model: missing_components.append("bm25_model")
+        if not llm_model: missing_components.append("llm_model")
+        if not llm_tokenizer: missing_components.append("llm_tokenizer")
+        error_msg = f"Lỗi: Một hoặc nhiều thành phần của hệ thống chưa được khởi tạo thành công. Thành phần thiếu: {', '.join(missing_components)}. Vui lòng kiểm tra logs của Space."
+        print(error_msg) # In ra console log của Space
+        return error_msg # Trả về cho người dùng
+
+    try:
+        response_text = generate_response(
+            query=message,
+            llama_model=llm_model,
+            tokenizer=llm_tokenizer,
+            faiss_index=faiss_index,
+            embed_model=embedding_model,
+            chunks_data_list=chunks_data,
+            bm25_model=bm25_model,
+            search_function=search_relevant_laws  # << RẤT QUAN TRỌNG: Đã thêm tham số này
+            # Bạn có thể truyền thêm các tham số search_k, search_multiplier,
+            # rrf_k_constant, max_new_tokens, temperature, etc. vào đây
+            # nếu bạn muốn ghi đè giá trị mặc định trong llm_handler.generate_response
+            # Ví dụ:
+            # search_k=5,
+            # max_new_tokens=768
+        )
+        yield response_text
+
+    except Exception as e:
+        # Ghi log lỗi chi tiết hơn
+        import traceback
+        print(f"Error during response generation for query '{message}': {e}")
+        print(traceback.format_exc()) # In stack trace để debug
+        yield f"Đã xảy ra lỗi nghiêm trọng khi xử lý yêu cầu của bạn. Vui lòng thử lại sau hoặc liên hệ quản trị viên."
+
+# Giao diện Gradio
+# Bỏ các additional_inputs không cần thiết nếu chúng được xử lý bên trong generate_response
+# hoặc nếu bạn không muốn người dùng cuối thay đổi chúng.
+demo = gr.ChatInterface(
+    respond,
+    # additional_inputs=[ # Bạn có thể thêm lại nếu muốn người dùng tùy chỉnh
+    #     gr.Textbox(value="You are a helpful Law Chatbot.", label="System message"), # Ví dụ
+    # ]
+)
 
 if __name__ == "__main__":
-    demo.launch(share=True) # share=True để tạo link public nếu chạy trên Colab/local
+    demo.launch()

data/my_law_faiss_flatip_normalized.index

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:378937c6e14ac44d9602a831ce58c91176e2974ad82d3ff6179e6531d8cd2fb8
+size 7526445

llm_handler.py

@@ -0,0 +1,296 @@
+# llm_handler.py
+
+import torch
+import re
+import json
+from unsloth import FastLanguageModel
+# from transformers import TextStreamer # Bỏ comment nếu bạn muốn dùng TextStreamer để stream token
+
+# Giả định rằng hàm search_relevant_laws được import từ file retrieval.py
+# Nếu file retrieval.py nằm cùng cấp, bạn có thể import như sau:
+# from retrieval import search_relevant_laws
+# Hoặc nếu bạn muốn hàm này độc lập hơn, bạn có thể truyền retrieved_results vào generate_response
+# thay vì truyền tất cả các thành phần của RAG.
+# Tuy nhiên, dựa theo code gốc, generate_response gọi search_relevant_laws.
+
+# --- HÀM TẢI MÔ HÌNH LLM VÀ TOKENIZER ---
+def load_llm_model_and_tokenizer(
+    model_name_or_path: str,
+    max_seq_length: int = 2048,
+    load_in_4bit: bool = True,
+    device_map: str = "auto" # Cho phép Unsloth tự quyết định device map
+):
+    """
+    Tải mô hình ngôn ngữ lớn (LLM) đã được fine-tune bằng Unsloth và tokenizer tương ứng.
+
+    Args:
+        model_name_or_path (str): Tên hoặc đường dẫn đến mô hình đã fine-tune.
+        max_seq_length (int): Độ dài chuỗi tối đa mà mô hình hỗ trợ.
+        load_in_4bit (bool): Có tải mô hình ở dạng 4-bit quantization hay không.
+        device_map (str): Cách map model lên các device (ví dụ "auto", "cuda:0").
+
+    Returns:
+        tuple: (model, tokenizer) nếu thành công, (None, None) nếu có lỗi.
+    """
+    print(f"Đang tải LLM model: {model_name_or_path}...")
+    try:
+        model, tokenizer = FastLanguageModel.from_pretrained(
+            model_name=model_name_or_path,
+            max_seq_length=max_seq_length,
+            dtype=None,  # Unsloth sẽ tự động chọn dtype tối ưu
+            load_in_4bit=load_in_4bit,
+            device_map=device_map, # Thêm device_map
+            # token = "hf_YOUR_TOKEN_HERE" # Nếu model là private trên Hugging Face Hub
+        )
+        FastLanguageModel.for_inference(model)  # Tối ưu hóa mô hình cho inference
+        print("Tải LLM model và tokenizer thành công.")
+        return model, tokenizer
+    except Exception as e:
+        print(f"Lỗi khi tải LLM model và tokenizer: {e}")
+        return None, None
+
+# --- HÀM TẠO CÂU TRẢ LỜI TỪ LLM ---
+def generate_response(
+    query: str,
+    llama_model, # Mô hình LLM đã tải
+    tokenizer,   # Tokenizer tương ứng
+    # Các thành phần RAG được truyền từ app.py (đã được tải trước đó)
+    faiss_index,
+    embed_model,
+    chunks_data_list: list,
+    bm25_model,
+    # Các tham số cho search_relevant_laws
+    search_k: int = 5,
+    search_multiplier: int = 10, # initial_k_multiplier
+    rrf_k_constant: int = 60,
+    # Các tham số cho generation của LLM
+    max_new_tokens: int = 768, # Tăng lên một chút cho câu trả lời đầy đủ hơn
+    temperature: float = 0.4, # Giảm một chút để câu trả lời bớt ngẫu nhiên, tập trung hơn
+    top_p: float = 0.9,       # Giữ nguyên hoặc giảm nhẹ
+    top_k: int = 40,
+    repetition_penalty: float = 1.15, # Tăng nhẹ để tránh lặp từ
+    # Tham số để import hàm search_relevant_laws
+    search_function # Đây là hàm search_relevant_laws được truyền vào
+):
+    """
+    Truy xuất ngữ cảnh bằng hàm search_relevant_laws (được truyền vào)
+    và tạo câu trả lời từ LLM dựa trên ngữ cảnh đó.
+
+    Args:
+        query (str): Câu truy vấn của người dùng.
+        llama_model: Mô hình LLM đã tải.
+        tokenizer: Tokenizer tương ứng.
+        faiss_index: FAISS index đã tải.
+        embed_model: Mô hình embedding đã tải.
+        chunks_data_list (list): Danh sách các chunk dữ liệu luật.
+        bm25_model: Mô hình BM25 đã tạo.
+        search_k (int): Số lượng kết quả cuối cùng muốn lấy từ hàm search.
+        search_multiplier (int): Hệ số initial_k_multiplier cho hàm search.
+        rrf_k_constant (int): Hằng số k cho RRF trong hàm search.
+        max_new_tokens (int): Số token tối đa được tạo mới bởi LLM.
+        temperature (float): Nhiệt độ cho việc sinh văn bản.
+        top_p (float): Tham số top-p cho nucleus sampling.
+        top_k (int): Tham số top-k.
+        repetition_penalty (float): Phạt cho việc lặp từ.
+        search_function: Hàm thực hiện tìm kiếm (ví dụ: retrieval.search_relevant_laws).
+
+    Returns:
+        str: Câu trả lời được tạo ra bởi LLM.
+    """
+    print(f"\n--- [LLM Handler] Bắt đầu xử lý query: '{query}' ---")
+
+    # === 1. Truy xuất ngữ cảnh (Sử dụng hàm search_function được truyền vào) ===
+    print("--- [LLM Handler] Bước 1: Truy xuất ngữ cảnh (Hybrid Search)... ---")
+    try:
+        retrieved_results = search_function(
+            query_text=query,
+            embedding_model=embed_model,
+            faiss_index=faiss_index,
+            chunks_data=chunks_data_list,
+            bm25_model=bm25_model,
+            k=search_k,
+            initial_k_multiplier=search_multiplier,
+            rrf_k_constant=rrf_k_constant
+            # Các tham số boost có thể lấy giá trị mặc định trong search_function
+            # hoặc truyền vào đây nếu muốn tùy chỉnh sâu hơn từ app.py
+        )
+        print(f"--- [LLM Handler] Truy xuất xong, số kết quả: {len(retrieved_results)} ---")
+        if not retrieved_results:
+            print("--- [LLM Handler] Không tìm thấy ngữ cảnh nào. ---")
+    except Exception as e:
+        print(f"Lỗi trong quá trình truy xuất ngữ cảnh: {e}")
+        retrieved_results = [] # Xử lý lỗi bằng cách trả về danh sách rỗng
+
+    # === 2. Định dạng Context từ retrieved_results ===
+    print("--- [LLM Handler] Bước 2: Định dạng context cho LLM... ---")
+    context_parts = []
+    if not retrieved_results:
+        context = "Không tìm thấy thông tin luật liên quan trong cơ sở dữ liệu để trả lời câu hỏi này."
+    else:
+        for i, res in enumerate(retrieved_results):
+            metadata = res.get('metadata', {})
+            article_title = metadata.get('article_title', 'N/A') # Lấy tiêu đề Điều
+            article = metadata.get('article', 'N/A')
+            clause = metadata.get('clause_number', 'N/A') # Sửa key cho khớp với process_law_data_to_chunks
+            point = metadata.get('point_id', '')
+            source = metadata.get('source_document', 'N/A')
+            text_content = res.get('text', '*Nội dung không có*')
+
+            # Header rõ ràng cho mỗi nguồn
+            header_parts = [f"Trích dẫn {i+1}:"]
+            if source != 'N/A':
+                header_parts.append(f"(Nguồn: {source})")
+            if article != 'N/A':
+                header_parts.append(f"Điều {article}")
+                if article_title != 'N/A' and article_title != article: # Chỉ thêm tiêu đề nếu khác số điều
+                    header_parts.append(f"({article_title})")
+            if clause != 'N/A':
+                header_parts.append(f", Khoản {clause}")
+            if point: # point_id có thể là None hoặc rỗng
+                header_parts.append(f", Điểm {point}")
+
+            header = " ".join(header_parts)
+
+            # Bổ sung thông tin phạt/điểm vào header nếu query có đề cập
+            # và metadata của chunk có thông tin đó (lấy từ logic boosting của search_relevant_laws)
+            query_analysis = metadata.get("query_analysis_for_boost", {}) # Giả sử search_relevant_laws có thể trả về
+            # Hoặc phân tích lại query ở đây (ít hiệu quả hơn)
+            mentions_fine_in_query = bool(re.search(r'tiền|phạt|bao nhiêu đồng|mức phạt', query.lower()))
+            mentions_points_in_query = bool(re.search(r'điểm|trừ điểm|bằng lái|gplx', query.lower()))
+
+            fine_info_text = []
+            if metadata.get("has_fine") and mentions_fine_in_query:
+                if metadata.get("individual_fine_min") is not None and metadata.get("individual_fine_max") is not None:
+                    fine_info_text.append(f"Phạt tiền: {metadata.get('individual_fine_min'):,} - {metadata.get('individual_fine_max'):,} VND.")
+                elif metadata.get("overall_fine_note_for_clause_text"):
+                     fine_info_text.append(f"Ghi chú phạt tiền: {metadata.get('overall_fine_note_for_clause_text')}")
+
+            points_info_text = []
+            if metadata.get("has_points_deduction") and mentions_points_in_query:
+                if metadata.get("points_deducted_values_str"):
+                    points_info_text.append(f"Trừ điểm: {metadata.get('points_deducted_values_str')} điểm.")
+                elif metadata.get("overall_points_deduction_note_for_clause_text"):
+                    points_info_text.append(f"Ghi chú trừ điểm: {metadata.get('overall_points_deduction_note_for_clause_text')}")
+
+
+            penalty_summary = ""
+            if fine_info_text or points_info_text:
+                penalty_summary = " (Liên quan: " + " ".join(fine_info_text + points_info_text) + ")"
+
+            context_parts.append(f"{header}{penalty_summary}\nNội dung: {text_content}")
+
+        context = "\n\n---\n\n".join(context_parts)
+        # print("\n--- [LLM Handler] Context đã định dạng ---\n", context[:1000] + "...") # Xem trước context
+
+    # === 3. Xây dựng Prompt ===
+    # Sử dụng định dạng prompt mà mô hình của bạn được fine-tune (ví dụ: Alpaca)
+    # Dưới đây là một ví dụ, bạn có thể cần điều chỉnh cho phù hợp với `lora_model_base`
+    prompt = f"""Bạn là một trợ lý AI chuyên tư vấn về luật giao thông đường bộ Việt Nam.
+Nhiệm vụ của bạn là dựa vào các thông tin luật được cung cấp dưới đây để trả lời câu hỏi của người dùng một cách chính xác, chi tiết và dễ hiểu.
+Nếu thông tin không đủ hoặc không có trong các trích dẫn được cung cấp, hãy trả lời rằng bạn không tìm thấy thông tin cụ thể trong tài liệu được cung cấp.
+Tránh đưa ra ý kiến cá nhân hoặc thông tin không có trong ngữ cảnh. Hãy trích dẫn điều, khoản, điểm nếu có thể.
+
+### Thông tin luật được trích dẫn:
+{context}
+
+### Câu hỏi của người dùng:
+{query}
+
+### Trả lời của bạn:"""
+
+    # print("\n--- [LLM Handler] Prompt hoàn chỉnh (một phần) ---\n", prompt[:1000] + "...")
+
+    # === 4. Tạo câu trả lời từ LLM ===
+    print("--- [LLM Handler] Bước 3: Tạo câu trả lời từ LLM... ---")
+    device = llama_model.device # Lấy device từ model đã tải
+    inputs = tokenizer(prompt, return_tensors="pt").to(device) # Chuyển inputs lên cùng device với model
+
+    generation_config = dict(
+        max_new_tokens=max_new_tokens,
+        temperature=temperature,
+        top_p=top_p,
+        top_k=top_k,
+        repetition_penalty=repetition_penalty,
+        do_sample=True if temperature > 0 else False, # Chỉ sample khi temperature > 0
+        pad_token_id=tokenizer.eos_token_id, # Quan trọng cho batch generation và padding
+        eos_token_id=tokenizer.eos_token_id,
+    )
+
+    try:
+        # # Tùy chọn: Sử dụng TextStreamer nếu bạn muốn stream từng token (cần sửa đổi hàm này để yield)
+        # text_streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
+        # output_ids = llama_model.generate(**inputs, streamer=text_streamer, **generation_config)
+        # response_text = "" # TextStreamer sẽ in ra, không cần decode lại nếu chỉ để hiển thị
+
+        # Generate bình thường để trả về chuỗi hoàn chỉnh
+        output_ids = llama_model.generate(**inputs, **generation_config)
+
+        # Lấy phần token được tạo mới (sau prompt)
+        input_length = inputs.input_ids.shape[1]
+        generated_ids = output_ids[0][input_length:]
+        response_text = tokenizer.decode(generated_ids, skip_special_tokens=True).strip()
+
+        print("--- [LLM Handler] Tạo câu trả lời hoàn tất. ---")
+        # print(f"--- [LLM Handler] Response text: {response_text[:300]}...")
+        return response_text
+
+    except Exception as e:
+        print(f"Lỗi trong quá trình LLM generating: {e}")
+        return "Xin lỗi, đã có lỗi xảy ra trong quá trình tạo câu trả lời từ mô hình ngôn ngữ."
+
+
+# --- (Tùy chọn) Hàm main để test nhanh file này ---
+if __name__ == '__main__':
+    # Phần này chỉ để test, bạn cần mock các đối tượng hoặc tải thật
+    print("Chạy test cho llm_handler.py (chưa có mock dữ liệu)...")
+
+    # # Ví dụ cách mock (bạn cần dữ liệu thật hoặc mock phức tạp hơn để chạy)
+    # mock_llm_model, mock_tokenizer = load_llm_model_and_tokenizer(
+    #     "unsloth/Phi-3-mini-4k-instruct-bnb-4bit", # Thay bằng model bạn dùng hoặc một model nhỏ để test
+    #     # model_name_or_path="path/to/your/lora_model_base" # Nếu test với model đã tải
+    # )
+    #
+    # if mock_llm_model and mock_tokenizer:
+    #     # Mock các thành phần RAG
+    #     class MockFAISSIndex:
+    #         def __init__(self): self.ntotal = 0
+    #         def search(self, query, k): return ([], []) # Trả về không có gì
+    #
+    #     class MockEmbeddingModel:
+    #         def encode(self, text, convert_to_tensor, device): return torch.randn(1, 10) # Vector dummy
+    #
+    #     class MockBM25Model:
+    #         def get_scores(self, query_tokens): return []
+    #
+    #     def mock_search_relevant_laws(**kwargs):
+    #         print(f"Mock search_relevant_laws called with query: {kwargs.get('query_text')}")
+    #         # Trả về một vài kết quả giả để test formatting
+    #         return [
+    #             {
+    #                 "text": "Người điều khiển xe máy không đội mũ bảo hiểm sẽ bị phạt tiền.",
+    #                 "metadata": {
+    #                     "source_document": "Nghị định 100/2019/NĐ-CP",
+    #                     "article": "6", "clause_number": "2", "point_id": "i",
+    #                     "article_title": "Xử phạt người điều khiển xe mô tô, xe gắn máy",
+    #                     "has_fine": True, "individual_fine_min": 200000, "individual_fine_max": 300000,
+    #                 }
+    #             }
+    #         ]
+    #
+    #     test_query = "Không đội mũ bảo hiểm xe máy phạt bao nhiêu?"
+    #     response = generate_response(
+    #         query=test_query,
+    #         llama_model=mock_llm_model,
+    #         tokenizer=mock_tokenizer,
+    #         faiss_index=MockFAISSIndex(),
+    #         embed_model=MockEmbeddingModel(),
+    #         chunks_data_list=[{"text": "dummy chunk", "metadata": {}}],
+    #         bm25_model=MockBM25Model(),
+    #         search_function=mock_search_relevant_laws, # Truyền hàm mock
+    #         search_k=1
+    #     )
+    #     print("\n--- Câu trả lời Test ---")
+    #     print(response)
+    # else:
+    #     print("Không thể tải mock LLM model để test.")
+    pass # Bỏ qua phần test nếu không có mock

models/embedding_model/1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

models/embedding_model/README.md

@@ -0,0 +1,168 @@
+---
+pipeline_tag: sentence-similarity
+tags:
+- sentence-transformers
+- feature-extraction
+- sentence-similarity
+- transformers
+library_name: generic
+language:
+- vi
+widget:
+- source_sentence: Làm thế nào Đại học Bách khoa Hà Nội thu hút sinh viên quốc tế?
+  sentences:
+  - >-
+    Đại học Bách khoa Hà Nội đã phát triển các chương trình đào tạo bằng tiếng
+    Anh để làm cho việc học tại đây dễ dàng hơn cho sinh viên quốc tế.
+  - >-
+    Môi trường học tập đa dạng và sự hỗ trợ đầy đủ cho sinh viên quốc tế tại Đại
+    học Bách khoa Hà Nội giúp họ thích nghi nhanh chóng.
+  - Hà Nội có khí hậu mát mẻ vào mùa thu.
+  - Các món ăn ở Hà Nội rất ngon và đa dạng.
+license: apache-2.0
+---
+
+# bkai-foundation-models/vietnamese-bi-encoder
+
+This is a [sentence-transformers](https://www.SBERT.net) model: It maps sentences & paragraphs to a 768 dimensional dense vector space and can be used for tasks like clustering or semantic search.
+
+We train the model on a merged training dataset that consists of: 
+  - MS Macro (translated into Vietnamese)
+  - SQuAD v2  (translated into Vietnamese)
+  - 80% of the training set from the Legal Text Retrieval Zalo 2021 challenge
+
+We use [phobert-base-v2](https://github.com/VinAIResearch/PhoBERT) as the pre-trained backbone.
+
+Here are the results on the remaining 20% of the training set from the Legal Text Retrieval Zalo 2021 challenge:
+
+|     Pretrained Model          |     Training Datasets                  |     Acc@1    |     Acc@10    |     Acc@100    |     Pre@10    |     MRR@10    |
+|-------------------------------|---------------------------------------|:------------:|:-------------:|:--------------:|:-------------:|:-------------:|
+|     [Vietnamese-SBERT](https://huggingface.co/keepitreal/vietnamese-sbert)     |     -                                 |     32.34    |      52.97    |      89.84     |      7.05     |      45.30    |
+|     PhoBERT-base-v2           |     MSMACRO                           |     47.81    |      77.19    |      92.34     |      7.72     |      58.37    |
+|     PhoBERT-base-v2                            |     MSMACRO + SQuADv2.0 + 80% Zalo    |     73.28    |      93.59    |      98.85     |      9.36     |      80.73    |
+
+
+<!--- Describe your model here -->
+
+## Usage (Sentence-Transformers)
+
+Using this model becomes easy when you have [sentence-transformers](https://www.SBERT.net) installed:
+
+```
+pip install -U sentence-transformers
+```
+
+Then you can use the model like this:
+
+```python
+from sentence_transformers import SentenceTransformer
+
+# INPUT TEXT MUST BE ALREADY WORD-SEGMENTED!
+sentences = ["Cô ấy là một người vui_tính .", "Cô ấy cười nói suốt cả ngày ."]
+
+model = SentenceTransformer('bkai-foundation-models/vietnamese-bi-encoder')
+embeddings = model.encode(sentences)
+print(embeddings)
+```
+
+
+## Usage (Widget HuggingFace)
+The widget use custom pipeline on top of the default pipeline by adding additional word segmenter before PhobertTokenizer. So you do not need to segment words before using the API:
+
+An example could be seen in Hosted inference API.
+ 
+
+## Usage (HuggingFace Transformers)
+
+Without [sentence-transformers](https://www.SBERT.net), you can use the model like this: First, you pass your input through the transformer model, then you have to apply the right pooling-operation on-top of the contextualized word embeddings.
+
+```python
+from transformers import AutoTokenizer, AutoModel
+import torch
+
+
+#Mean Pooling - Take attention mask into account for correct averaging
+def mean_pooling(model_output, attention_mask):
+    token_embeddings = model_output[0] #First element of model_output contains all token embeddings
+    input_mask_expanded = attention_mask.unsqueeze(-1).expand(token_embeddings.size()).float()
+    return torch.sum(token_embeddings * input_mask_expanded, 1) / torch.clamp(input_mask_expanded.sum(1), min=1e-9)
+
+
+# Sentences we want sentence embeddings, we could use pyvi, underthesea, RDRSegment to segment words
+sentences = ['Cô ấy là một người vui_tính .', 'Cô ấy cười nói suốt cả ngày .']
+
+# Load model from HuggingFace Hub
+tokenizer = AutoTokenizer.from_pretrained('bkai-foundation-models/vietnamese-bi-encoder')
+model = AutoModel.from_pretrained('bkai-foundation-models/vietnamese-bi-encoder')
+
+# Tokenize sentences
+encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')
+
+# Compute token embeddings
+with torch.no_grad():
+    model_output = model(**encoded_input)
+
+# Perform pooling. In this case, mean pooling.
+sentence_embeddings = mean_pooling(model_output, encoded_input['attention_mask'])
+
+print("Sentence embeddings:")
+print(sentence_embeddings)
+```
+
+## Training
+
+The model was trained with the parameters:
+
+**DataLoader**:
+
+`torch.utils.data.dataloader.DataLoader` of length 17584 with parameters:
+
+```
+{'batch_size': 32, 'sampler': 'torch.utils.data.sampler.RandomSampler', 'batch_sampler': 'torch.utils.data.sampler.BatchSampler'}
+```
+
+**Loss**:
+
+`sentence_transformers.losses.MultipleNegativesRankingLoss.MultipleNegativesRankingLoss` with parameters:
+
+```
+{'scale': 20.0, 'similarity_fct': 'cos_sim'}
+```
+
+Parameters of the fit()-Method:
+
+```
+{
+    "epochs": 15,
+    "evaluation_steps": 0,
+    "evaluator": "NoneType",
+    "max_grad_norm": 1,
+    "optimizer_class": "<class 'torch.optim.adamw.AdamW'>",
+    "optimizer_params": {
+        "lr": 2e-05
+    },
+    "scheduler": "WarmupLinear",
+    "steps_per_epoch": null,
+    "warmup_steps": 1000,
+    "weight_decay": 0.01
+}
+```
+
+## Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False})
+)
+```
+
+### Please cite our manuscript if this dataset is used for your work
+```
+  @article{duc2024towards,
+    title={Towards Comprehensive Vietnamese Retrieval-Augmented Generation and Large Language Models},
+    author={Nguyen Quang Duc, Le Hai Son, Nguyen Duc Nhan, Nguyen Dich Nhat Minh, Le Thanh Huong, Dinh Viet Sang},
+    journal={arXiv preprint arXiv:2403.01616},
+    year={2024}
+  }
+```

models/embedding_model/added_tokens.json

@@ -0,0 +1,3 @@
+{
+  "<mask>": 64000
+}

models/embedding_model/config.json

@@ -0,0 +1,27 @@
+{
+  "architectures": [
+    "RobertaModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "classifier_dropout": null,
+  "eos_token_id": 2,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 258,
+  "model_type": "roberta",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "pad_token_id": 1,
+  "position_embedding_type": "absolute",
+  "tokenizer_class": "PhobertTokenizer",
+  "torch_dtype": "float32",
+  "transformers_version": "4.51.3",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "vocab_size": 64001
+}

models/embedding_model/config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "4.1.0",
+    "transformers": "4.51.3",
+    "pytorch": "2.7.0+cu126"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

models/embedding_model/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e681accadaec87e79901db0c3f68e33d996cba334633b6dd0b2483dba4f398e0
+size 540015464

models/embedding_model/modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  }
+]

models/embedding_model/sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 256,
+  "do_lower_case": false
+}

models/embedding_model/special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

models/embedding_model/tokenizer_config.json

@@ -0,0 +1,55 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "64000": {
+      "content": "<mask>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "extra_special_tokens": {},
+  "mask_token": "<mask>",
+  "model_max_length": 256,
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "tokenizer_class": "PhobertTokenizer",
+  "unk_token": "<unk>"
+}

models/lora_model_base/README.md

@@ -0,0 +1,202 @@
+---
+base_model: unsloth/llama-3.2-3b-instruct-unsloth-bnb-4bit
+library_name: peft
+---
+
+# Model Card for Model ID
+
+<!-- Provide a quick summary of what the model is/does. -->
+
+
+
+## Model Details
+
+### Model Description
+
+<!-- Provide a longer summary of what this model is. -->
+
+
+
+- **Developed by:** [More Information Needed]
+- **Funded by [optional]:** [More Information Needed]
+- **Shared by [optional]:** [More Information Needed]
+- **Model type:** [More Information Needed]
+- **Language(s) (NLP):** [More Information Needed]
+- **License:** [More Information Needed]
+- **Finetuned from model [optional]:** [More Information Needed]
+
+### Model Sources [optional]
+
+<!-- Provide the basic links for the model. -->
+
+- **Repository:** [More Information Needed]
+- **Paper [optional]:** [More Information Needed]
+- **Demo [optional]:** [More Information Needed]
+
+## Uses
+
+<!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->
+
+### Direct Use
+
+<!-- This section is for the model use without fine-tuning or plugging into a larger ecosystem/app. -->
+
+[More Information Needed]
+
+### Downstream Use [optional]
+
+<!-- This section is for the model use when fine-tuned for a task, or when plugged into a larger ecosystem/app -->
+
+[More Information Needed]
+
+### Out-of-Scope Use
+
+<!-- This section addresses misuse, malicious use, and uses that the model will not work well for. -->
+
+[More Information Needed]
+
+## Bias, Risks, and Limitations
+
+<!-- This section is meant to convey both technical and sociotechnical limitations. -->
+
+[More Information Needed]
+
+### Recommendations
+
+<!-- This section is meant to convey recommendations with respect to the bias, risk, and technical limitations. -->
+
+Users (both direct and downstream) should be made aware of the risks, biases and limitations of the model. More information needed for further recommendations.
+
+## How to Get Started with the Model
+
+Use the code below to get started with the model.
+
+[More Information Needed]
+
+## Training Details
+
+### Training Data
+
+<!-- This should link to a Dataset Card, perhaps with a short stub of information on what the training data is all about as well as documentation related to data pre-processing or additional filtering. -->
+
+[More Information Needed]
+
+### Training Procedure
+
+<!-- This relates heavily to the Technical Specifications. Content here should link to that section when it is relevant to the training procedure. -->
+
+#### Preprocessing [optional]
+
+[More Information Needed]
+
+
+#### Training Hyperparameters
+
+- **Training regime:** [More Information Needed] <!--fp32, fp16 mixed precision, bf16 mixed precision, bf16 non-mixed precision, fp16 non-mixed precision, fp8 mixed precision -->
+
+#### Speeds, Sizes, Times [optional]
+
+<!-- This section provides information about throughput, start/end time, checkpoint size if relevant, etc. -->
+
+[More Information Needed]
+
+## Evaluation
+
+<!-- This section describes the evaluation protocols and provides the results. -->
+
+### Testing Data, Factors & Metrics
+
+#### Testing Data
+
+<!-- This should link to a Dataset Card if possible. -->
+
+[More Information Needed]
+
+#### Factors
+
+<!-- These are the things the evaluation is disaggregating by, e.g., subpopulations or domains. -->
+
+[More Information Needed]
+
+#### Metrics
+
+<!-- These are the evaluation metrics being used, ideally with a description of why. -->
+
+[More Information Needed]
+
+### Results
+
+[More Information Needed]
+
+#### Summary
+
+
+
+## Model Examination [optional]
+
+<!-- Relevant interpretability work for the model goes here -->
+
+[More Information Needed]
+
+## Environmental Impact
+
+<!-- Total emissions (in grams of CO2eq) and additional considerations, such as electricity usage, go here. Edit the suggested text below accordingly -->
+
+Carbon emissions can be estimated using the [Machine Learning Impact calculator](https://mlco2.github.io/impact#compute) presented in [Lacoste et al. (2019)](https://arxiv.org/abs/1910.09700).
+
+- **Hardware Type:** [More Information Needed]
+- **Hours used:** [More Information Needed]
+- **Cloud Provider:** [More Information Needed]
+- **Compute Region:** [More Information Needed]
+- **Carbon Emitted:** [More Information Needed]
+
+## Technical Specifications [optional]
+
+### Model Architecture and Objective
+
+[More Information Needed]
+
+### Compute Infrastructure
+
+[More Information Needed]
+
+#### Hardware
+
+[More Information Needed]
+
+#### Software
+
+[More Information Needed]
+
+## Citation [optional]
+
+<!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->
+
+**BibTeX:**
+
+[More Information Needed]
+
+**APA:**
+
+[More Information Needed]
+
+## Glossary [optional]
+
+<!-- If relevant, include terms and calculations in this section that can help readers understand the model or model card. -->
+
+[More Information Needed]
+
+## More Information [optional]
+
+[More Information Needed]
+
+## Model Card Authors [optional]
+
+[More Information Needed]
+
+## Model Card Contact
+
+[More Information Needed]
+### Framework versions
+
+- PEFT 0.15.0

models/lora_model_base/adapter_config.json

@@ -0,0 +1,39 @@
+{
+  "alpha_pattern": {},
+  "auto_mapping": null,
+  "base_model_name_or_path": "unsloth/llama-3.2-3b-instruct-unsloth-bnb-4bit",
+  "bias": "none",
+  "corda_config": null,
+  "eva_config": null,
+  "exclude_modules": null,
+  "fan_in_fan_out": false,
+  "inference_mode": true,
+  "init_lora_weights": true,
+  "layer_replication": null,
+  "layers_pattern": null,
+  "layers_to_transform": null,
+  "loftq_config": {},
+  "lora_alpha": 16,
+  "lora_bias": false,
+  "lora_dropout": 0,
+  "megatron_config": null,
+  "megatron_core": "megatron.core",
+  "modules_to_save": null,
+  "peft_type": "LORA",
+  "r": 16,
+  "rank_pattern": {},
+  "revision": null,
+  "target_modules": [
+    "q_proj",
+    "gate_proj",
+    "down_proj",
+    "o_proj",
+    "k_proj",
+    "v_proj",
+    "up_proj"
+  ],
+  "task_type": "CAUSAL_LM",
+  "trainable_token_indices": null,
+  "use_dora": false,
+  "use_rslora": false
+}

models/lora_model_base/adapter_model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0528f0d3cff8cde7d2ac7cda02a9f50a384ad836eff4d60bff86fe3cbb9a6060
+size 97307544

models/lora_model_base/special_tokens_map.json

@@ -0,0 +1,23 @@
+{
+  "bos_token": {
+    "content": "<|begin_of_text|>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "<|eot_id|>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<|finetune_right_pad_id|>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

models/lora_model_base/tokenizer.json

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6b9e4e7fb171f92fd137b777cc2714bf87d11576700a1dcd7a399e7bbe39537b
+size 17209920

models/lora_model_base/tokenizer_config.json

@@ -0,0 +1,2067 @@
+{
+  "add_bos_token": true,
+  "added_tokens_decoder": {
+    "128000": {
+      "content": "<|begin_of_text|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128001": {
+      "content": "<|end_of_text|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128002": {
+      "content": "<|reserved_special_token_0|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128003": {
+      "content": "<|reserved_special_token_1|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128004": {
+      "content": "<|finetune_right_pad_id|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128005": {
+      "content": "<|reserved_special_token_2|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128006": {
+      "content": "<|start_header_id|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128007": {
+      "content": "<|end_header_id|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128008": {
+      "content": "<|eom_id|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128009": {
+      "content": "<|eot_id|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128010": {
+      "content": "<|python_tag|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128011": {
+      "content": "<|reserved_special_token_3|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128012": {
+      "content": "<|reserved_special_token_4|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128013": {
+      "content": "<|reserved_special_token_5|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128014": {
+      "content": "<|reserved_special_token_6|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128015": {
+      "content": "<|reserved_special_token_7|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128016": {
+      "content": "<|reserved_special_token_8|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128017": {
+      "content": "<|reserved_special_token_9|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128018": {
+      "content": "<|reserved_special_token_10|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128019": {
+      "content": "<|reserved_special_token_11|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128020": {
+      "content": "<|reserved_special_token_12|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128021": {
+      "content": "<|reserved_special_token_13|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128022": {
+      "content": "<|reserved_special_token_14|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128023": {
+      "content": "<|reserved_special_token_15|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128024": {
+      "content": "<|reserved_special_token_16|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128025": {
+      "content": "<|reserved_special_token_17|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128026": {
+      "content": "<|reserved_special_token_18|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128027": {
+      "content": "<|reserved_special_token_19|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128028": {
+      "content": "<|reserved_special_token_20|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128029": {
+      "content": "<|reserved_special_token_21|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128030": {
+      "content": "<|reserved_special_token_22|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128031": {
+      "content": "<|reserved_special_token_23|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128032": {
+      "content": "<|reserved_special_token_24|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128033": {
+      "content": "<|reserved_special_token_25|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128034": {
+      "content": "<|reserved_special_token_26|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128035": {
+      "content": "<|reserved_special_token_27|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128036": {
+      "content": "<|reserved_special_token_28|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128037": {
+      "content": "<|reserved_special_token_29|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128038": {
+      "content": "<|reserved_special_token_30|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128039": {
+      "content": "<|reserved_special_token_31|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128040": {
+      "content": "<|reserved_special_token_32|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128041": {
+      "content": "<|reserved_special_token_33|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128042": {
+      "content": "<|reserved_special_token_34|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128043": {
+      "content": "<|reserved_special_token_35|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128044": {
+      "content": "<|reserved_special_token_36|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128045": {
+      "content": "<|reserved_special_token_37|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128046": {
+      "content": "<|reserved_special_token_38|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128047": {
+      "content": "<|reserved_special_token_39|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128048": {
+      "content": "<|reserved_special_token_40|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128049": {
+      "content": "<|reserved_special_token_41|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128050": {
+      "content": "<|reserved_special_token_42|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128051": {
+      "content": "<|reserved_special_token_43|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128052": {
+      "content": "<|reserved_special_token_44|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128053": {
+      "content": "<|reserved_special_token_45|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128054": {
+      "content": "<|reserved_special_token_46|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128055": {
+      "content": "<|reserved_special_token_47|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128056": {
+      "content": "<|reserved_special_token_48|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128057": {
+      "content": "<|reserved_special_token_49|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128058": {
+      "content": "<|reserved_special_token_50|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128059": {
+      "content": "<|reserved_special_token_51|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128060": {
+      "content": "<|reserved_special_token_52|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128061": {
+      "content": "<|reserved_special_token_53|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128062": {
+      "content": "<|reserved_special_token_54|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128063": {
+      "content": "<|reserved_special_token_55|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128064": {
+      "content": "<|reserved_special_token_56|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128065": {
+      "content": "<|reserved_special_token_57|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128066": {
+      "content": "<|reserved_special_token_58|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128067": {
+      "content": "<|reserved_special_token_59|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128068": {
+      "content": "<|reserved_special_token_60|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128069": {
+      "content": "<|reserved_special_token_61|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128070": {
+      "content": "<|reserved_special_token_62|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128071": {
+      "content": "<|reserved_special_token_63|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128072": {
+      "content": "<|reserved_special_token_64|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128073": {
+      "content": "<|reserved_special_token_65|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128074": {
+      "content": "<|reserved_special_token_66|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128075": {
+      "content": "<|reserved_special_token_67|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128076": {
+      "content": "<|reserved_special_token_68|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128077": {
+      "content": "<|reserved_special_token_69|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128078": {
+      "content": "<|reserved_special_token_70|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128079": {
+      "content": "<|reserved_special_token_71|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128080": {
+      "content": "<|reserved_special_token_72|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128081": {
+      "content": "<|reserved_special_token_73|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128082": {
+      "content": "<|reserved_special_token_74|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128083": {
+      "content": "<|reserved_special_token_75|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128084": {
+      "content": "<|reserved_special_token_76|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128085": {
+      "content": "<|reserved_special_token_77|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128086": {
+      "content": "<|reserved_special_token_78|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128087": {
+      "content": "<|reserved_special_token_79|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128088": {
+      "content": "<|reserved_special_token_80|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128089": {
+      "content": "<|reserved_special_token_81|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128090": {
+      "content": "<|reserved_special_token_82|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128091": {
+      "content": "<|reserved_special_token_83|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128092": {
+      "content": "<|reserved_special_token_84|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128093": {
+      "content": "<|reserved_special_token_85|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128094": {
+      "content": "<|reserved_special_token_86|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128095": {
+      "content": "<|reserved_special_token_87|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128096": {
+      "content": "<|reserved_special_token_88|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128097": {
+      "content": "<|reserved_special_token_89|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128098": {
+      "content": "<|reserved_special_token_90|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128099": {
+      "content": "<|reserved_special_token_91|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128100": {
+      "content": "<|reserved_special_token_92|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128101": {
+      "content": "<|reserved_special_token_93|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128102": {
+      "content": "<|reserved_special_token_94|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128103": {
+      "content": "<|reserved_special_token_95|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128104": {
+      "content": "<|reserved_special_token_96|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128105": {
+      "content": "<|reserved_special_token_97|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128106": {
+      "content": "<|reserved_special_token_98|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128107": {
+      "content": "<|reserved_special_token_99|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128108": {
+      "content": "<|reserved_special_token_100|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128109": {
+      "content": "<|reserved_special_token_101|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128110": {
+      "content": "<|reserved_special_token_102|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128111": {
+      "content": "<|reserved_special_token_103|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128112": {
+      "content": "<|reserved_special_token_104|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128113": {
+      "content": "<|reserved_special_token_105|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128114": {
+      "content": "<|reserved_special_token_106|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128115": {
+      "content": "<|reserved_special_token_107|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128116": {
+      "content": "<|reserved_special_token_108|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128117": {
+      "content": "<|reserved_special_token_109|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128118": {
+      "content": "<|reserved_special_token_110|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128119": {
+      "content": "<|reserved_special_token_111|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128120": {
+      "content": "<|reserved_special_token_112|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128121": {
+      "content": "<|reserved_special_token_113|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128122": {
+      "content": "<|reserved_special_token_114|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128123": {
+      "content": "<|reserved_special_token_115|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128124": {
+      "content": "<|reserved_special_token_116|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128125": {
+      "content": "<|reserved_special_token_117|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128126": {
+      "content": "<|reserved_special_token_118|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128127": {
+      "content": "<|reserved_special_token_119|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128128": {
+      "content": "<|reserved_special_token_120|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128129": {
+      "content": "<|reserved_special_token_121|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128130": {
+      "content": "<|reserved_special_token_122|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128131": {
+      "content": "<|reserved_special_token_123|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128132": {
+      "content": "<|reserved_special_token_124|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128133": {
+      "content": "<|reserved_special_token_125|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128134": {
+      "content": "<|reserved_special_token_126|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128135": {
+      "content": "<|reserved_special_token_127|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128136": {
+      "content": "<|reserved_special_token_128|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128137": {
+      "content": "<|reserved_special_token_129|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128138": {
+      "content": "<|reserved_special_token_130|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128139": {
+      "content": "<|reserved_special_token_131|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128140": {
+      "content": "<|reserved_special_token_132|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128141": {
+      "content": "<|reserved_special_token_133|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128142": {
+      "content": "<|reserved_special_token_134|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128143": {
+      "content": "<|reserved_special_token_135|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128144": {
+      "content": "<|reserved_special_token_136|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128145": {
+      "content": "<|reserved_special_token_137|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128146": {
+      "content": "<|reserved_special_token_138|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128147": {
+      "content": "<|reserved_special_token_139|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128148": {
+      "content": "<|reserved_special_token_140|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128149": {
+      "content": "<|reserved_special_token_141|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128150": {
+      "content": "<|reserved_special_token_142|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128151": {
+      "content": "<|reserved_special_token_143|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128152": {
+      "content": "<|reserved_special_token_144|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128153": {
+      "content": "<|reserved_special_token_145|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128154": {
+      "content": "<|reserved_special_token_146|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128155": {
+      "content": "<|reserved_special_token_147|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128156": {
+      "content": "<|reserved_special_token_148|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128157": {
+      "content": "<|reserved_special_token_149|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128158": {
+      "content": "<|reserved_special_token_150|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128159": {
+      "content": "<|reserved_special_token_151|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128160": {
+      "content": "<|reserved_special_token_152|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128161": {
+      "content": "<|reserved_special_token_153|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128162": {
+      "content": "<|reserved_special_token_154|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128163": {
+      "content": "<|reserved_special_token_155|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128164": {
+      "content": "<|reserved_special_token_156|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128165": {
+      "content": "<|reserved_special_token_157|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128166": {
+      "content": "<|reserved_special_token_158|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128167": {
+      "content": "<|reserved_special_token_159|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128168": {
+      "content": "<|reserved_special_token_160|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128169": {
+      "content": "<|reserved_special_token_161|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128170": {
+      "content": "<|reserved_special_token_162|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128171": {
+      "content": "<|reserved_special_token_163|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128172": {
+      "content": "<|reserved_special_token_164|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128173": {
+      "content": "<|reserved_special_token_165|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128174": {
+      "content": "<|reserved_special_token_166|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128175": {
+      "content": "<|reserved_special_token_167|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128176": {
+      "content": "<|reserved_special_token_168|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128177": {
+      "content": "<|reserved_special_token_169|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128178": {
+      "content": "<|reserved_special_token_170|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128179": {
+      "content": "<|reserved_special_token_171|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128180": {
+      "content": "<|reserved_special_token_172|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128181": {
+      "content": "<|reserved_special_token_173|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128182": {
+      "content": "<|reserved_special_token_174|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128183": {
+      "content": "<|reserved_special_token_175|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128184": {
+      "content": "<|reserved_special_token_176|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128185": {
+      "content": "<|reserved_special_token_177|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128186": {
+      "content": "<|reserved_special_token_178|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128187": {
+      "content": "<|reserved_special_token_179|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128188": {
+      "content": "<|reserved_special_token_180|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128189": {
+      "content": "<|reserved_special_token_181|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128190": {
+      "content": "<|reserved_special_token_182|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128191": {
+      "content": "<|reserved_special_token_183|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128192": {
+      "content": "<|reserved_special_token_184|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128193": {
+      "content": "<|reserved_special_token_185|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128194": {
+      "content": "<|reserved_special_token_186|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128195": {
+      "content": "<|reserved_special_token_187|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128196": {
+      "content": "<|reserved_special_token_188|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128197": {
+      "content": "<|reserved_special_token_189|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128198": {
+      "content": "<|reserved_special_token_190|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128199": {
+      "content": "<|reserved_special_token_191|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128200": {
+      "content": "<|reserved_special_token_192|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128201": {
+      "content": "<|reserved_special_token_193|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128202": {
+      "content": "<|reserved_special_token_194|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128203": {
+      "content": "<|reserved_special_token_195|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128204": {
+      "content": "<|reserved_special_token_196|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128205": {
+      "content": "<|reserved_special_token_197|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128206": {
+      "content": "<|reserved_special_token_198|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128207": {
+      "content": "<|reserved_special_token_199|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128208": {
+      "content": "<|reserved_special_token_200|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128209": {
+      "content": "<|reserved_special_token_201|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128210": {
+      "content": "<|reserved_special_token_202|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128211": {
+      "content": "<|reserved_special_token_203|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128212": {
+      "content": "<|reserved_special_token_204|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128213": {
+      "content": "<|reserved_special_token_205|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128214": {
+      "content": "<|reserved_special_token_206|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128215": {
+      "content": "<|reserved_special_token_207|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128216": {
+      "content": "<|reserved_special_token_208|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128217": {
+      "content": "<|reserved_special_token_209|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128218": {
+      "content": "<|reserved_special_token_210|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128219": {
+      "content": "<|reserved_special_token_211|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128220": {
+      "content": "<|reserved_special_token_212|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128221": {
+      "content": "<|reserved_special_token_213|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128222": {
+      "content": "<|reserved_special_token_214|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128223": {
+      "content": "<|reserved_special_token_215|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128224": {
+      "content": "<|reserved_special_token_216|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128225": {
+      "content": "<|reserved_special_token_217|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128226": {
+      "content": "<|reserved_special_token_218|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128227": {
+      "content": "<|reserved_special_token_219|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128228": {
+      "content": "<|reserved_special_token_220|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128229": {
+      "content": "<|reserved_special_token_221|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128230": {
+      "content": "<|reserved_special_token_222|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128231": {
+      "content": "<|reserved_special_token_223|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128232": {
+      "content": "<|reserved_special_token_224|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128233": {
+      "content": "<|reserved_special_token_225|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128234": {
+      "content": "<|reserved_special_token_226|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128235": {
+      "content": "<|reserved_special_token_227|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128236": {
+      "content": "<|reserved_special_token_228|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128237": {
+      "content": "<|reserved_special_token_229|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128238": {
+      "content": "<|reserved_special_token_230|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128239": {
+      "content": "<|reserved_special_token_231|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128240": {
+      "content": "<|reserved_special_token_232|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128241": {
+      "content": "<|reserved_special_token_233|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128242": {
+      "content": "<|reserved_special_token_234|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128243": {
+      "content": "<|reserved_special_token_235|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128244": {
+      "content": "<|reserved_special_token_236|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128245": {
+      "content": "<|reserved_special_token_237|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128246": {
+      "content": "<|reserved_special_token_238|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128247": {
+      "content": "<|reserved_special_token_239|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128248": {
+      "content": "<|reserved_special_token_240|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128249": {
+      "content": "<|reserved_special_token_241|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128250": {
+      "content": "<|reserved_special_token_242|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128251": {
+      "content": "<|reserved_special_token_243|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128252": {
+      "content": "<|reserved_special_token_244|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128253": {
+      "content": "<|reserved_special_token_245|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128254": {
+      "content": "<|reserved_special_token_246|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "128255": {
+      "content": "<|reserved_special_token_247|>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<|begin_of_text|>",
+  "chat_template": "{{- bos_token }}\n{%- if custom_tools is defined %}\n    {%- set tools = custom_tools %}\n{%- endif %}\n{%- if not tools_in_user_message is defined %}\n    {%- set tools_in_user_message = true %}\n{%- endif %}\n{%- if not date_string is defined %}\n    {%- if strftime_now is defined %}\n        {%- set date_string = strftime_now(\"%d %b %Y\") %}\n    {%- else %}\n        {%- set date_string = \"26 Jul 2024\" %}\n    {%- endif %}\n{%- endif %}\n{%- if not tools is defined %}\n    {%- set tools = none %}\n{%- endif %}\n\n{#- This block extracts the system message, so we can slot it into the right place. #}\n{%- if messages[0]['role'] == 'system' %}\n    {%- set system_message = messages[0]['content']|trim %}\n    {%- set messages = messages[1:] %}\n{%- else %}\n    {%- set system_message = \"\" %}\n{%- endif %}\n\n{#- System message #}\n{{- \"<|start_header_id|>system<|end_header_id|>\\n\\n\" }}\n{%- if tools is not none %}\n    {{- \"Environment: ipython\\n\" }}\n{%- endif %}\n{{- \"Cutting Knowledge Date: December 2023\\n\" }}\n{{- \"Today Date: \" + date_string + \"\\n\\n\" }}\n{%- if tools is not none and not tools_in_user_message %}\n    {{- \"You have access to the following functions. To call a function, please respond with JSON for a function call.\" }}\n    {{- 'Respond in the format {\"name\": function name, \"parameters\": dictionary of argument name and its value}.' }}\n    {{- \"Do not use variables.\\n\\n\" }}\n    {%- for t in tools %}\n        {{- t | tojson(indent=4) }}\n        {{- \"\\n\\n\" }}\n    {%- endfor %}\n{%- endif %}\n{{- system_message }}\n{{- \"<|eot_id|>\" }}\n\n{#- Custom tools are passed in a user message with some extra guidance #}\n{%- if tools_in_user_message and not tools is none %}\n    {#- Extract the first user message so we can plug it in here #}\n    {%- if messages | length != 0 %}\n        {%- set first_user_message = messages[0]['content']|trim %}\n        {%- set messages = messages[1:] %}\n    {%- else %}\n        {{- raise_exception(\"Cannot put tools in the first user message when there's no first user message!\") }}\n{%- endif %}\n    {{- '<|start_header_id|>user<|end_header_id|>\\n\\n' -}}\n    {{- \"Given the following functions, please respond with a JSON for a function call \" }}\n    {{- \"with its proper arguments that best answers the given prompt.\\n\\n\" }}\n    {{- 'Respond in the format {\"name\": function name, \"parameters\": dictionary of argument name and its value}.' }}\n    {{- \"Do not use variables.\\n\\n\" }}\n    {%- for t in tools %}\n        {{- t | tojson(indent=4) }}\n        {{- \"\\n\\n\" }}\n    {%- endfor %}\n    {{- first_user_message + \"<|eot_id|>\"}}\n{%- endif %}\n\n{%- for message in messages %}\n    {%- if not (message.role == 'ipython' or message.role == 'tool' or 'tool_calls' in message) %}\n        {{- '<|start_header_id|>' + message['role'] + '<|end_header_id|>\\n\\n'+ message['content'] | trim + '<|eot_id|>' }}\n    {%- elif 'tool_calls' in message %}\n        {%- if not message.tool_calls|length == 1 %}\n            {{- raise_exception(\"This model only supports single tool-calls at once!\") }}\n        {%- endif %}\n        {%- set tool_call = message.tool_calls[0].function %}\n        {{- '<|start_header_id|>assistant<|end_header_id|>\\n\\n' -}}\n        {{- '{\"name\": \"' + tool_call.name + '\", ' }}\n        {{- '\"parameters\": ' }}\n        {{- tool_call.arguments | tojson }}\n        {{- \"}\" }}\n        {{- \"<|eot_id|>\" }}\n    {%- elif message.role == \"tool\" or message.role == \"ipython\" %}\n        {{- \"<|start_header_id|>ipython<|end_header_id|>\\n\\n\" }}\n        {%- if message.content is mapping or message.content is iterable %}\n            {{- message.content | tojson }}\n        {%- else %}\n            {{- message.content }}\n        {%- endif %}\n        {{- \"<|eot_id|>\" }}\n    {%- endif %}\n{%- endfor %}\n{%- if add_generation_prompt %}\n    {{- '<|start_header_id|>assistant<|end_header_id|>\\n\\n' }}\n{%- endif %}\n",
+  "clean_up_tokenization_spaces": true,
+  "eos_token": "<|eot_id|>",
+  "extra_special_tokens": {},
+  "model_input_names": [
+    "input_ids",
+    "attention_mask"
+  ],
+  "model_max_length": 131072,
+  "pad_token": "<|finetune_right_pad_id|>",
+  "padding_side": "right",
+  "tokenizer_class": "PreTrainedTokenizer",
+  "unk_token": null
+}

retrieval.py

@@ -0,0 +1,579 @@
+# retrieval.py
+
+import json
+import re
+import numpy as np
+import faiss # Thư viện này cần được cài đặt (faiss-cpu hoặc faiss-gpu)
+from collections import defaultdict
+from typing import List, Dict, Any, Tuple, Optional, Callable
+
+# --- 1. CÁC HẰNG SỐ VÀ MAP CHO LOẠI PHƯƠNG TIỆN ---
+VEHICLE_TYPE_MAP: Dict[str, List[str]] = {
+    "xe máy": ["xe máy", "xe mô tô", "xe gắn máy", "xe máy điện", "mô tô hai bánh", "mô tô ba bánh"],
+    "ô tô": ["xe ô tô", "ô tô con", "ô tô tải", "ô tô khách", "xe con", "xe tải", "xe khách", "ô tô điện"],
+    "xe cơ giới": ["xe cơ giới"], # Loại chung hơn
+    "xe thô sơ": ["xe thô sơ", "xe đạp", "xích lô", "xe đạp điện"], # Thêm xe đạp điện vào xe thô sơ
+    "người đi bộ": ["người đi bộ"],
+    # Thêm các loại khác nếu cần, ví dụ "xe chuyên dùng" nếu muốn tách riêng
+}
+
+# --- 2. HÀM TIỆN ÍCH ---
+
+def get_standardized_vehicle_type(text_input: Optional[str]) -> Optional[str]:
+    """
+    Suy luận và chuẩn hóa loại phương tiện từ một chuỗi text.
+    Ưu tiên các loại cụ thể trước, sau đó đến các loại chung hơn.
+    """
+    if not text_input or not isinstance(text_input, str):
+        return None
+    
+    text_lower = text_input.lower()
+    
+    # Ưu tiên kiểm tra "xe máy" và các biến thể trước "xe cơ giới"
+    # Cẩn thận với "xe máy chuyên dùng"
+    is_moto = any(re.search(r'\b' + re.escape(kw) + r'\b', text_lower) for kw in VEHICLE_TYPE_MAP["xe máy"])
+    if is_moto:
+        # Tránh trường hợp "xe máy chuyên dùng" bị tính là "xe máy"
+        # nếu "xe máy chuyên dùng" là một category riêng hoặc cần xử lý đặc biệt.
+        # Hiện tại, nếu có "chuyên dùng" và "xe máy", nó vẫn sẽ là "xe máy" nếu không có category "xe máy chuyên dùng".
+        if "chuyên dùng" in text_lower and "xe máy chuyên dùng" not in text_lower: # Logic này có thể cần review tùy theo định nghĩa
+             # Nếu bạn có category "xe máy chuyên dùng" trong VEHICLE_TYPE_MAP, nó sẽ được xử lý ở vòng lặp sau.
+             # Nếu không, "xe máy chuyên dùng" vẫn có thể bị coi là "xe máy".
+             pass # Để nó rơi xuống các kiểm tra khác nếu cần
+        else:
+            return "xe máy"
+            
+    # Kiểm tra "ô tô" và các biến thể
+    is_car = any(re.search(r'\b' + re.escape(kw) + r'\b', text_lower) for kw in VEHICLE_TYPE_MAP["ô tô"])
+    if is_car:
+        return "ô tô"
+        
+    # Kiểm tra các loại chung hơn hoặc khác
+    # Thứ tự này quan trọng nếu có sự chồng chéo (ví dụ: "xe cơ giới" bao gồm "ô tô", "xe máy")
+    # Đã xử lý ô tô, xe máy ở trên nên thứ tự ở đây ít quan trọng hơn giữa các loại còn lại.
+    for standard_type, keywords in VEHICLE_TYPE_MAP.items():
+        if standard_type in ["xe máy", "ô tô"]: # Đã xử lý ở trên
+            continue
+        if any(re.search(r'\b' + re.escape(kw) + r'\b', text_lower) for kw in keywords):
+            return standard_type
+            
+    return None # Trả về None nếu không khớp rõ ràng
+
+def tokenize_vi_for_bm25_setup(text: str) -> List[str]:
+    """
+    Tokenize tiếng Việt đơn giản cho BM25: lowercase, loại bỏ dấu câu, split theo khoảng trắng.
+    """
+    text = text.lower()
+    text = re.sub(r'[^\w\s]', '', text) # Loại bỏ các ký tự không phải chữ, số, hoặc khoảng trắng
+    return text.split()
+
+# --- 3. HÀM XỬ LÝ DỮ LIỆU LUẬT TỪ JSON SANG CHUNKS ---
+def process_law_data_to_chunks(structured_data_input: Any) -> List[Dict[str, Any]]:
+    """
+    Xử lý dữ liệu luật có cấu trúc (từ JSON) thành một danh sách phẳng các "chunks".
+    Mỗi chunk bao gồm "text" và "metadata".
+    """
+    flat_list: List[Dict[str, Any]] = []
+
+    if isinstance(structured_data_input, dict) and "article" in structured_data_input:
+        articles_list: List[Dict[str, Any]] = [structured_data_input]
+    elif isinstance(structured_data_input, list):
+        articles_list = structured_data_input
+    else:
+        print("Lỗi: Dữ liệu đầu vào không phải là danh sách các Điều luật hoặc một đối tượng Điều luật.")
+        return flat_list
+
+    for article_data in articles_list:
+        if not isinstance(article_data, dict):
+            # print(f"Cảnh báo: Bỏ qua mục không phải dict trong articles_list: {article_data}")
+            continue
+
+        raw_article_title = article_data.get("article_title", "")
+        article_metadata_base = {
+            "source_document": article_data.get("source_document"),
+            "article": article_data.get("article"), # Số điều, ví dụ "Điều 5"
+            "article_title": raw_article_title # Tiêu đề của Điều, ví dụ "Xử phạt người điều khiển..."
+        }
+        
+        article_level_vehicle_type = get_standardized_vehicle_type(raw_article_title) or "không xác định"
+
+        clauses = article_data.get("clauses", [])
+        if not isinstance(clauses, list):
+            # print(f"Cảnh báo: 'clauses' trong Điều {article_data.get('article')} không phải list.")
+            continue
+
+        for clause_data in clauses:
+            if not isinstance(clause_data, dict):
+                # print(f"Cảnh báo: Bỏ qua mục không phải dict trong 'clauses' của Điều {article_data.get('article')}")
+                continue
+
+            clause_metadata_base = article_metadata_base.copy()
+            clause_number = clause_data.get("clause_number") # Số khoản, ví dụ "1" hoặc "1a"
+            clause_metadata_base.update({"clause_number": clause_number})
+            
+            clause_summary_data = clause_data.get("clause_metadata_summary")
+            if isinstance(clause_summary_data, dict):
+                clause_metadata_base["overall_fine_note_for_clause_text"] = clause_summary_data.get("overall_fine_note_for_clause")
+                clause_metadata_base["overall_points_deduction_note_for_clause_text"] = clause_summary_data.get("overall_points_deduction_note_for_clause")
+
+            points_in_clause = clause_data.get("points_in_clause", [])
+            if not isinstance(points_in_clause, list):
+                # print(f"Cảnh báo: 'points_in_clause' trong Khoản {clause_number} của Điều {article_data.get('article')} không phải list.")
+                continue
+            
+            if points_in_clause: # Nếu có các Điểm trong Khoản
+                for point_data in points_in_clause:
+                    if not isinstance(point_data, dict):
+                        # print(f"Cảnh báo: Bỏ qua mục không phải dict trong 'points_in_clause'.")
+                        continue
+                        
+                    chunk_text = point_data.get("point_text_original")
+                    if not chunk_text: chunk_text = point_data.get("violation_description_summary") # Fallback
+                    if not chunk_text: continue # Bỏ qua nếu không có text
+
+                    current_chunk_metadata = clause_metadata_base.copy()
+                    current_chunk_metadata["point_id"] = point_data.get("point_id") # ID của điểm, ví dụ "a"
+                    current_chunk_metadata["violation_description_summary"] = point_data.get("violation_description_summary")
+                    
+                    # 1. Làm phẳng 'penalties_detail'
+                    current_chunk_metadata.update({
+                        'has_fine': False, 'has_points_deduction': False,
+                        'has_license_suspension': False, 'has_confiscation': False
+                    })
+                    penalty_types_for_this_point: List[str] = []
+                    points_values: List[Any] = []
+                    s_min_months: List[float] = [] # Sửa thành float để chứa giá trị tháng lẻ
+                    s_max_months: List[float] = []
+                    confiscation_items_list: List[str] = []
+
+                    penalties = point_data.get("penalties_detail", [])
+                    if isinstance(penalties, list):
+                        for p_item in penalties:
+                            if not isinstance(p_item, dict): continue
+                            p_type_original, p_details = p_item.get("penalty_type"), p_item.get("details", {})
+                            if p_type_original: penalty_types_for_this_point.append(str(p_type_original))
+                            if not isinstance(p_details, dict): continue
+                            
+                            p_type_lower = str(p_type_original).lower()
+                            if "phạt tiền" in p_type_lower:
+                                current_chunk_metadata['has_fine'] = True
+                                if p_details.get("individual_fine_min") is not None: current_chunk_metadata['individual_fine_min'] = p_details.get("individual_fine_min")
+                                if p_details.get("individual_fine_max") is not None: current_chunk_metadata['individual_fine_max'] = p_details.get("individual_fine_max")
+                            if "trừ điểm" in p_type_lower or "điểm giấy phép lái xe" in p_type_lower : # Mở rộng kiểm tra
+                                current_chunk_metadata['has_points_deduction'] = True
+                                if p_details.get("points_deducted") is not None: points_values.append(p_details.get("points_deducted"))
+                            if "tước quyền sử dụng giấy phép lái xe" in p_type_lower or "tước bằng lái" in p_type_lower:
+                                current_chunk_metadata['has_license_suspension'] = True
+                                if p_details.get("suspension_duration_min_months") is not None: s_min_months.append(float(p_details.get("suspension_duration_min_months")))
+                                if p_details.get("suspension_duration_max_months") is not None: s_max_months.append(float(p_details.get("suspension_duration_max_months")))
+                            if "tịch thu" in p_type_lower:
+                                current_chunk_metadata['has_confiscation'] = True
+                                if p_details.get("confiscation_item"): confiscation_items_list.append(str(p_details.get("confiscation_item")))
+                    
+                    if penalty_types_for_this_point: current_chunk_metadata['penalty_types_str'] = ", ".join(sorted(list(set(penalty_types_for_this_point))))
+                    if points_values: current_chunk_metadata['points_deducted_values_str'] = ", ".join(map(str, sorted(list(set(points_values)))))
+                    if s_min_months: current_chunk_metadata['suspension_min_months'] = min(s_min_months)
+                    if s_max_months: current_chunk_metadata['suspension_max_months'] = max(s_max_months)
+                    if confiscation_items_list: current_chunk_metadata['confiscation_items_str'] = ", ".join(sorted(list(set(confiscation_items_list))))
+
+                    # 2. Thông tin tốc độ
+                    if point_data.get("speed_limit") is not None: current_chunk_metadata['speed_limit_value'] = point_data.get("speed_limit")
+                    if point_data.get("speed_limit_min") is not None: current_chunk_metadata['speed_limit_min_value'] = point_data.get("speed_limit_min")
+                    if point_data.get("speed_type"): current_chunk_metadata['speed_category'] = point_data.get("speed_type")
+
+                    # 3. Thông tin loại xe/đường cụ thể từ point_data
+                    speed_limits_extra = point_data.get("speed_limits_by_vehicle_type_and_road_type", [])
+                    point_specific_vehicle_types_raw: List[str] = []
+                    point_specific_road_types: List[str] = []
+                    if isinstance(speed_limits_extra, list):
+                        for sl_item in speed_limits_extra:
+                            if isinstance(sl_item, dict):
+                                if sl_item.get("vehicle_type"): point_specific_vehicle_types_raw.append(str(sl_item.get("vehicle_type")).lower())
+                                if sl_item.get("road_type"): point_specific_road_types.append(str(sl_item.get("road_type")).lower())
+                    if point_specific_vehicle_types_raw: current_chunk_metadata['point_specific_vehicle_types_str'] = ", ".join(sorted(list(set(point_specific_vehicle_types_raw))))
+                    if point_specific_road_types: current_chunk_metadata['point_specific_road_types_str'] = ", ".join(sorted(list(set(point_specific_road_types))))
+                    
+                    # 4. Gán 'applicable_vehicle_type' chính
+                    derived_vehicle_type_from_point = "không xác định"
+                    if point_specific_vehicle_types_raw:
+                        normalized_types_from_point_data = set()
+                        for vt_raw in set(point_specific_vehicle_types_raw):
+                            standard_type = get_standardized_vehicle_type(vt_raw)
+                            if standard_type: normalized_types_from_point_data.add(standard_type)
+                        
+                        if len(normalized_types_from_point_data) == 1:
+                            derived_vehicle_type_from_point = list(normalized_types_from_point_data)[0]
+                        elif len(normalized_types_from_point_data) > 1:
+                            # Xử lý trường hợp có nhiều loại xe đã chuẩn hóa
+                            if "ô tô" in normalized_types_from_point_data and "xe máy" in normalized_types_from_point_data:
+                                derived_vehicle_type_from_point = "ô tô và xe máy"
+                            # Có thể thêm các logic ưu tiên khác nếu cần (ví dụ: nếu có "xe cơ giới" và "ô tô" -> "ô tô")
+                            elif "ô tô" in normalized_types_from_point_data: derived_vehicle_type_from_point = "ô tô"
+                            elif "xe máy" in normalized_types_from_point_data: derived_vehicle_type_from_point = "xe máy"
+                            else: # Nếu không có cặp ưu tiên rõ ràng
+                                derived_vehicle_type_from_point = "nhiều loại cụ thể" # Hoặc join các loại: ", ".join(sorted(list(normalized_types_from_point_data)))
+                    
+                    # Ưu tiên thông tin từ point, nếu không rõ ràng thì mới dùng từ article
+                    # Các loại được coi là rõ ràng: "ô tô", "xe máy", "xe cơ giới", "xe thô sơ", "người đi bộ", "ô tô và xe máy"
+                    clear_types = ["ô tô", "xe máy", "xe cơ giới", "xe thô sơ", "người đi bộ", "ô tô và xe máy"]
+                    if derived_vehicle_type_from_point not in clear_types and derived_vehicle_type_from_point != "không xác định":
+                         # Nếu là "nhiều loại cụ thể" mà không phải "ô tô và xe máy" hoặc các loại không rõ ràng khác
+                         current_chunk_metadata['applicable_vehicle_type'] = article_level_vehicle_type
+                    elif derived_vehicle_type_from_point == "không xác định":
+                         current_chunk_metadata['applicable_vehicle_type'] = article_level_vehicle_type
+                    else: # Các trường hợp còn lại (rõ ràng từ point)
+                         current_chunk_metadata['applicable_vehicle_type'] = derived_vehicle_type_from_point
+                         
+                    # 5. Các trường khác
+                    if point_data.get("applies_to"): current_chunk_metadata['applies_to_context'] = point_data.get("applies_to")
+                    if point_data.get("location"): current_chunk_metadata['specific_location_info'] = point_data.get("location")
+                    
+                    final_metadata_cleaned = {k: v for k, v in current_chunk_metadata.items() if v is not None}
+                    flat_list.append({ "text": chunk_text, "metadata": final_metadata_cleaned })
+            
+            else: # Nếu Khoản không có Điểm nào, thì text của Khoản là một chunk
+                chunk_text = clause_data.get("clause_text_original")
+                if chunk_text: # Chỉ thêm nếu có text
+                    current_clause_level_metadata = clause_metadata_base.copy()
+                    # Với chunk cấp độ Khoản, loại xe sẽ lấy từ article_level_vehicle_type
+                    current_clause_level_metadata['applicable_vehicle_type'] = article_level_vehicle_type
+                    # Kiểm tra xem có thông tin phạt tiền tổng thể ở Khoản không
+                    if current_clause_level_metadata.get("overall_fine_note_for_clause_text"):
+                        current_clause_level_metadata['has_fine_clause_level'] = True # Dùng để boost nếu cần
+                    
+                    final_metadata_cleaned = {k:v for k,v in current_clause_level_metadata.items() if v is not None}
+                    flat_list.append({ "text": chunk_text, "metadata": final_metadata_cleaned })
+    return flat_list
+
+# --- 4. HÀM PHÂN TÍCH QUERY ---
+def analyze_query(query_text: str) -> Dict[str, Any]:
+    """
+    Phân tích query để xác định ý định của người dùng (ví dụ: hỏi về phạt tiền, điểm, loại xe...).
+    """
+    query_lower = query_text.lower()
+    analysis: Dict[str, Any] = {
+        "mentions_fine": bool(re.search(r'tiền|phạt|bao nhiêu đồng|bao nhiêu tiền|mức phạt|xử phạt hành chính|nộp phạt', query_lower)),
+        "mentions_points": bool(re.search(r'điểm|trừ điểm|mấy điểm|trừ bao nhiêu điểm|bằng lái|gplx|giấy phép lái xe', query_lower)),
+        "mentions_suspension": bool(re.search(r'tước bằng|tước giấy phép lái xe|giam bằng|treo bằng|thu bằng lái|tước quyền sử dụng', query_lower)),
+        "mentions_confiscation": bool(re.search(r'tịch thu|thu xe|thu phương tiện', query_lower)),
+        "mentions_max_speed": bool(re.search(r'tốc độ tối đa|giới hạn tốc độ|chạy quá tốc độ|vượt tốc độ', query_lower)),
+        "mentions_min_speed": bool(re.search(r'tốc độ tối thiểu|chạy chậm hơn', query_lower)),
+        "mentions_safe_distance": bool(re.search(r'khoảng cách an toàn|cự ly an toàn|cự ly tối thiểu|giữ khoảng cách', query_lower)),
+        "mentions_remedial_measures": bool(re.search(r'biện pháp khắc phục|khắc phục hậu quả', query_lower)),
+        "vehicle_type_query": None, # Sẽ được điền bằng loại xe chuẩn hóa nếu có
+    }
+
+    # Sử dụng lại VEHICLE_TYPE_MAP để chuẩn hóa loại xe trong query
+    # Ưu tiên loại cụ thể trước
+    queried_vehicle_standardized = get_standardized_vehicle_type(query_lower)
+    if queried_vehicle_standardized:
+        analysis["vehicle_type_query"] = queried_vehicle_standardized
+    
+    return analysis
+
+# --- 5. HÀM TÌM KIẾM KẾT HỢP (HYBRID SEARCH) ---
+def search_relevant_laws(
+        query_text: str,
+        embedding_model, # Kiểu dữ liệu: SentenceTransformer model
+        faiss_index,     # Kiểu dữ liệu: faiss.Index
+        chunks_data: List[Dict[str, Any]],
+        bm25_model,      # Kiểu dữ liệu: BM25Okapi model
+        k: int = 5,
+        initial_k_multiplier: int = 10,
+        rrf_k_constant: int = 60,
+        # Trọng số cho các loại boost (có thể điều chỉnh)
+        boost_fine: float = 0.15,
+        boost_points: float = 0.15,
+        boost_both_fine_points: float = 0.10, # Boost thêm nếu khớp cả hai
+        boost_vehicle_type: float = 0.20,
+        boost_suspension: float = 0.18,
+        boost_confiscation: float = 0.18,
+        boost_max_speed: float = 0.15,
+        boost_min_speed: float = 0.15,
+        boost_safe_distance: float = 0.12,
+        boost_remedial_measures: float = 0.10
+    ) -> List[Dict[str, Any]]:
+    """
+    Thực hiện tìm kiếm kết hợp (semantic + keyword) với RRF và metadata re-ranking.
+    """
+    if k <= 0:
+        print("Lỗi: k (số lượng kết quả) phải là số dương.")
+        return []
+    if not chunks_data:
+        print("Lỗi: chunks_data rỗng, không thể tìm kiếm.")
+        return []
+
+    print(f"\n🔎 Đang tìm kiếm (Hybrid) cho truy vấn: '{query_text}'")
+
+    # === 1. Phân tích Query ===
+    query_analysis = analyze_query(query_text)
+    # print(f"   Phân tích query: {json.dumps(query_analysis, ensure_ascii=False, indent=2)}")
+
+    num_vectors_in_index = faiss_index.ntotal
+    if num_vectors_in_index == 0:
+        print("Lỗi: FAISS index rỗng.")
+        return []
+
+    # Số lượng ứng viên ban đầu từ mỗi retriever
+    num_candidates_each_retriever = max(min(k * initial_k_multiplier, num_vectors_in_index), min(k, num_vectors_in_index))
+    if num_candidates_each_retriever == 0:
+        print(f"   Không thể lấy đủ số lượng ứng viên ban đầu (num_candidates = 0).")
+        return []
+    
+    # === 2. Semantic Search (FAISS) ===
+    semantic_indices_raw: np.ndarray = np.array([[]], dtype=int) # Khởi tạo rỗng
+    try:
+        query_embedding_tensor = embedding_model.encode(
+            [query_text], convert_to_tensor=True, device=embedding_model.device
+        )
+        query_embedding_np = query_embedding_tensor.cpu().numpy().astype('float32')
+        faiss.normalize_L2(query_embedding_np) # Chuẩn hóa vector query
+        # print(f"   Đã tạo và chuẩn hóa vector truy vấn shape: {query_embedding_np.shape}")
+        # print(f"   Tìm kiếm {num_candidates_each_retriever} kết quả ngữ nghĩa (FAISS)...")
+        _, semantic_indices_raw = faiss_index.search(query_embedding_np, num_candidates_each_retriever)
+        # print(f"   ✅ Tìm kiếm ngữ nghĩa (FAISS) hoàn tất.")
+    except Exception as e:
+        print(f"Lỗi khi tìm kiếm ngữ nghĩa (FAISS): {e}")
+        # semantic_indices_raw đã được khởi tạo là rỗng
+
+    # === 3. Keyword Search (BM25) ===
+    # print(f"   Tìm kiếm {num_candidates_each_retriever} kết quả từ khóa (BM25)...")
+    tokenized_query_bm25 = tokenize_vi_for_bm25_setup(query_text)
+    top_bm25_results: List[Dict[str, Any]] = []
+    try:
+        if bm25_model and tokenized_query_bm25:
+            all_bm25_scores = bm25_model.get_scores(tokenized_query_bm25)
+            # Lấy chỉ số và score cho các document có score > 0
+            bm25_results_with_indices = [
+                {'index': i, 'score': score} for i, score in enumerate(all_bm25_scores) if score > 0
+            ]
+            # Sắp xếp theo score giảm dần
+            bm25_results_with_indices.sort(key=lambda x: x['score'], reverse=True)
+            top_bm25_results = bm25_results_with_indices[:num_candidates_each_retriever]
+            # print(f"   ✅ Tìm kiếm từ khóa (BM25) hoàn tất, tìm thấy {len(top_bm25_results)} ứng viên.")
+        else:
+            # print("   Cảnh báo: BM25 model hoặc tokenized query không hợp lệ, bỏ qua BM25.")
+            pass
+    except Exception as e:
+        print(f"Lỗi khi tìm kiếm từ khóa (BM25): {e}")
+
+    # === 4. Result Fusion (Reciprocal Rank Fusion - RRF) ===
+    # print(f"   Kết hợp kết quả từ FAISS và BM25 bằng RRF (k_const={rrf_k_constant})...")
+    rrf_scores: Dict[int, float] = defaultdict(float)
+    all_retrieved_indices_set: set[int] = set()
+
+    if semantic_indices_raw.size > 0:
+        for rank, doc_idx_int in enumerate(semantic_indices_raw[0]):
+            doc_idx = int(doc_idx_int) # Đảm bảo là int
+            if 0 <= doc_idx < len(chunks_data): # Kiểm tra doc_idx hợp lệ với chunks_data
+                rrf_scores[doc_idx] += 1.0 / (rrf_k_constant + rank)
+                all_retrieved_indices_set.add(doc_idx)
+
+    for rank, item in enumerate(top_bm25_results):
+        doc_idx = item['index']
+        if 0 <= doc_idx < len(chunks_data):
+            rrf_scores[doc_idx] += 1.0 / (rrf_k_constant + rank)
+            all_retrieved_indices_set.add(doc_idx)
+
+    fused_initial_results: List[Dict[str, Any]] = []
+    for doc_idx in all_retrieved_indices_set:
+        fused_initial_results.append({
+            'index': doc_idx,
+            'fused_score': rrf_scores[doc_idx]
+        })
+    fused_initial_results.sort(key=lambda x: x['fused_score'], reverse=True)
+    # print(f"   ✅ Kết hợp RRF hoàn tất, có {len(fused_initial_results)} ứng viên duy nhất.")
+
+    # === 5. Xử lý Metadata, Lọc và Tái xếp hạng cuối cùng ===
+    final_processed_results: List[Dict[str, Any]] = []
+    # Xử lý metadata cho số lượng ứng viên lớn hơn để có đủ lựa chọn sau khi lọc
+    num_to_process_metadata = min(len(fused_initial_results), num_candidates_each_retriever * 2 if num_candidates_each_retriever > 0 else k * 3)
+    
+    # print(f"   Xử lý metadata và tính điểm cuối cùng cho top {num_to_process_metadata} ứng viên lai ghép...")
+    for rank_idx, res_item in enumerate(fused_initial_results[:num_to_process_metadata]):
+        result_index = res_item['index']
+        base_score_from_fusion = res_item['fused_score']
+        metadata_boost_components: Dict[str, float] = defaultdict(float)
+        passes_all_strict_filters = True
+
+        try:
+            original_chunk = chunks_data[result_index]
+            chunk_metadata = original_chunk.get('metadata', {})
+            chunk_text_lower = original_chunk.get('text', '').lower()
+
+            # 5.1 & 5.2: Tiền phạt và Điểm phạt
+            has_fine_info_in_chunk = chunk_metadata.get("has_fine", False) or chunk_metadata.get("has_fine_clause_level", False)
+            has_points_info_in_chunk = chunk_metadata.get("has_points_deduction", False)
+
+            if query_analysis["mentions_fine"]:
+                if has_fine_info_in_chunk:
+                    metadata_boost_components["fine"] += boost_fine
+                elif not query_analysis["mentions_points"]: # Chỉ hỏi tiền mà chunk không có -> lọc
+                    passes_all_strict_filters = False
+            
+            if query_analysis["mentions_points"]:
+                if has_points_info_in_chunk:
+                    metadata_boost_components["points"] += boost_points
+                elif not query_analysis["mentions_fine"]: # Chỉ hỏi điểm mà chunk không có -> lọc
+                    passes_all_strict_filters = False
+            
+            if query_analysis["mentions_fine"] and query_analysis["mentions_points"]:
+                if not has_fine_info_in_chunk and not has_points_info_in_chunk: # Query hỏi cả hai mà chunk ko có cả hai
+                    passes_all_strict_filters = False
+                elif has_fine_info_in_chunk and has_points_info_in_chunk:
+                    metadata_boost_components["both_fine_points"] += boost_both_fine_points
+            
+            # 5.3. Loại xe
+            queried_vehicle = query_analysis["vehicle_type_query"]
+            if queried_vehicle:
+                applicable_vehicle_meta = chunk_metadata.get("applicable_vehicle_type", "").lower()
+                point_specific_vehicles_meta = chunk_metadata.get("point_specific_vehicle_types_str", "").lower()
+                article_title_lower = chunk_metadata.get("article_title", "").lower()
+
+                match_vehicle = False
+                if queried_vehicle in applicable_vehicle_meta: match_vehicle = True
+                elif queried_vehicle in point_specific_vehicles_meta: match_vehicle = True
+                # Kiểm tra xem queried_vehicle (đã chuẩn hóa) có trong article_title không
+                elif queried_vehicle in article_title_lower: match_vehicle = True # Đơn giản hóa, có thể dùng regex nếu cần chính xác hơn
+                # Kiểm tra xem queried_vehicle (đã chuẩn hóa) có trong chunk_text không
+                elif queried_vehicle in chunk_text_lower: match_vehicle = True
+
+
+                if match_vehicle:
+                    metadata_boost_components["vehicle_type"] += boost_vehicle_type
+                else:
+                    # Logic lọc: nếu query có loại xe cụ thể, mà applicable_vehicle_type của chunk là một loại khác
+                    # và không phải là "không xác định", "nhiều loại cụ thể", hoặc loại cha chung ("xe cơ giới" cho "ô tô")
+                    if applicable_vehicle_meta and \
+                       applicable_vehicle_meta not in ["không xác định", "nhiều loại cụ thể", "ô tô và xe máy"] and \
+                       not (applicable_vehicle_meta == "xe cơ giới" and queried_vehicle in ["ô tô", "xe máy"]):
+                        passes_all_strict_filters = False
+            
+            # 5.4. Tước quyền sử dụng GPLX
+            if query_analysis["mentions_suspension"] and chunk_metadata.get("has_license_suspension"):
+                metadata_boost_components["suspension"] += boost_suspension
+            
+            # 5.5. Tịch thu
+            if query_analysis["mentions_confiscation"] and chunk_metadata.get("has_confiscation"):
+                metadata_boost_components["confiscation"] += boost_confiscation
+            
+            # 5.6. Tốc độ tối đa
+            if query_analysis["mentions_max_speed"]:
+                if chunk_metadata.get("speed_limit_value") is not None or \
+                   "tốc độ tối đa" in chunk_metadata.get("speed_category","").lower() or \
+                   any(kw in chunk_text_lower for kw in ["quá tốc độ", "tốc độ tối đa", "vượt tốc độ quy định"]):
+                    metadata_boost_components["max_speed"] += boost_max_speed
+
+            # 5.7. Tốc độ tối thiểu
+            if query_analysis["mentions_min_speed"]:
+                if chunk_metadata.get("speed_limit_min_value") is not None or \
+                   "tốc độ tối thiểu" in chunk_metadata.get("speed_category","").lower() or \
+                   "tốc độ tối thiểu" in chunk_text_lower:
+                    metadata_boost_components["min_speed"] += boost_min_speed
+
+            # 5.8. Khoảng cách an toàn
+            if query_analysis["mentions_safe_distance"]:
+                if any(kw in chunk_text_lower for kw in ["khoảng cách an toàn", "cự ly an toàn", "cự ly tối thiểu", "giữ khoảng cách"]):
+                    metadata_boost_components["safe_distance"] += boost_safe_distance
+            
+            # 5.9. Biện pháp khắc phục
+            if query_analysis["mentions_remedial_measures"]:
+                if any(kw in chunk_text_lower for kw in ["biện pháp khắc phục", "khắc phục hậu quả"]):
+                    metadata_boost_components["remedial_measures"] += boost_remedial_measures
+
+            if not passes_all_strict_filters:
+                continue
+
+            total_metadata_boost = sum(metadata_boost_components.values())
+            final_score_calculated = base_score_from_fusion + total_metadata_boost
+
+            final_processed_results.append({
+                "rank_after_fusion": rank_idx + 1,
+                "index": int(result_index),
+                "base_score_rrf": float(base_score_from_fusion),
+                "metadata_boost_components": dict(metadata_boost_components), # Lưu lại để debug
+                "metadata_boost_total": float(total_metadata_boost),
+                "final_score": final_score_calculated,
+                "text": original_chunk.get('text', '*Không có text*'),
+                "metadata": chunk_metadata, # Giữ nguyên metadata gốc
+                "query_analysis_for_boost": query_analysis # (Tùy chọn) Lưu lại query analysis dùng cho boosting
+            })
+
+        except IndexError:
+            print(f"Lỗi Index: Chỉ số {result_index} nằm ngoài chunks_data (size: {len(chunks_data)}). Bỏ qua chunk này.")
+        except Exception as e:
+            print(f"Lỗi khi xử lý ứng viên lai ghép tại chỉ số {result_index}: {e}. Bỏ qua chunk này.")
+
+    final_processed_results.sort(key=lambda x: x["final_score"], reverse=True)
+    final_results_top_k = final_processed_results[:k]
+
+    print(f"   ✅ Xử lý, kết hợp metadata boost và tái xếp hạng hoàn tất. Trả về {len(final_results_top_k)} kết quả.")
+    return final_results_top_k
+
+
+# --- (Tùy chọn) Hàm main để test nhanh file này ---
+if __name__ == '__main__':
+    print("Chạy test cho retrieval.py...")
+
+    # --- Test get_standardized_vehicle_type ---
+    print("\n--- Test get_standardized_vehicle_type ---")
+    test_vehicles = [
+        "người điều khiển xe ô tô con", "xe gắn máy", "xe cơ giới", "xe máy chuyên dùng",
+        "xe đạp điện", "người đi bộ", "ô tô tải và xe mô tô", None, ""
+    ]
+    for tv in test_vehicles:
+        print(f"'{tv}' -> '{get_standardized_vehicle_type(tv)}'")
+
+    # --- Test analyze_query ---
+    print("\n--- Test analyze_query ---")
+    test_queries = [
+        "xe máy không gương phạt bao nhiêu tiền?",
+        "ô tô chạy quá tốc độ 20km bị trừ mấy điểm gplx",
+        "đi bộ ở đâu thì đúng luật",
+        "biện pháp khắc phục khi gây tai nạn là gì"
+    ]
+    for tq in test_queries:
+        print(f"Query: '{tq}'\nAnalysis: {json.dumps(analyze_query(tq), indent=2, ensure_ascii=False)}")
+
+    # --- Test process_law_data_to_chunks (cần file JSON mẫu) ---
+    # Giả sử bạn có file JSON mẫu 'sample_law_data.json' cùng cấp
+    # sample_data = {
+    #     "article": "Điều 5",
+    #     "article_title": "Xử phạt người điều khiển xe ô tô và các loại xe tương tự xe ô tô vi phạm quy tắc giao thông đường bộ",
+    #     "source_document": "Nghị định 100/2019/NĐ-CP",
+    #     "clauses": [
+    #         {
+    #             "clause_number": "1",
+    #             "clause_text_original": "Phạt tiền từ 200.000 đồng đến 400.000 đồng đối với người điều khiển xe thực hiện một trong các hành vi vi phạm sau đây:",
+    #             "points_in_clause": [
+    #                 {
+    #                     "point_id": "a",
+    #                     "point_text_original": "Không chấp hành hiệu lệnh, chỉ dẫn của biển báo hiệu, vạch kẻ đường, trừ các hành vi vi phạm quy định tại điểm a khoản 2, điểm c khoản 3, điểm đ khoản 4, điểm g khoản 5, điểm b khoản 6, điểm b khoản 7, điểm d khoản 8 Điều này;",
+    #                     "penalties_detail": [
+    #                         {"penalty_type": "Phạt tiền", "details": {"individual_fine_min": 200000, "individual_fine_max": 400000}}
+    #                     ],
+    #                     "speed_limits_by_vehicle_type_and_road_type": [{"vehicle_type": "xe ô tô con"}]
+    #                 }
+    #             ]
+    #         },
+    #         {
+    #             "clause_number": "12", # Khoản không có điểm
+    #             "clause_text_original": "Ngoài việc bị phạt tiền, người điều khiển xe thực hiện hành vi vi phạm còn bị áp dụng các hình thức xử phạt bổ sung sau đây: ...",
+    #             "clause_metadata_summary": {"overall_fine_note_for_clause": "Áp dụng hình phạt bổ sung"}
+    #         }
+    #     ]
+    # }
+    #
+    # print("\n--- Test process_law_data_to_chunks ---")
+    # chunks = process_law_data_to_chunks(sample_data)
+    # print(f"Số chunks được tạo: {len(chunks)}")
+    # if chunks:
+    #     print("Chunk đầu tiên:")
+    #     print(json.dumps(chunks[0], indent=2, ensure_ascii=False))
+    #     print("Chunk cuối cùng (nếu có nhiều hơn 1):")
+    #     if len(chunks) > 1:
+    #         print(json.dumps(chunks[-1], indent=2, ensure_ascii=False))
+
+    # Để test search_relevant_laws, bạn cần mock embedding_model, faiss_index, bm25_model
+    # và có chunks_data đã được xử lý.
+    print("\n--- Các test khác (ví dụ: search_relevant_laws) cần mock hoặc dữ liệu đầy đủ. ---")

utils.py

@@ -0,0 +1,48 @@
+# utils.py
+
+import re
+from typing import List
+
+def tokenize_vi_simple(text: str) -> List[str]:
+    """
+    Tokenizes Vietnamese text simply for tasks like BM25.
+    Converts to lowercase, removes basic punctuation, and splits by whitespace.
+
+    Args:
+        text (str): The input Vietnamese text.
+
+    Returns:
+        List[str]: A list of tokens.
+    """
+    if not isinstance(text, str):
+        # Or raise TypeError("Input must be a string")
+        return []
+    text = text.lower()
+    # Remove characters that are not alphanumeric or whitespace
+    text = re.sub(r'[^\w\s]', '', text)
+    return text.split()
+
+# You can add other general utility functions here as your project grows.
+# For example:
+# - Functions for logging
+# - Functions for path manipulation if they are used across multiple modules
+# - Simple data validation or cleaning routines not specific to law data or LLMs
+
+if __name__ == '__main__':
+    print("Testing utils.py...")
+
+    # Test tokenize_vi_simple
+    print("\n--- Test tokenize_vi_simple ---")
+    test_phrases = [
+        "Luật Giao thông Đường bộ Việt Nam 2023!",
+        "Xe ô tô con và xe máy.",
+        "  Phạt tiền từ 200.000đ đến 400.000đ.  ",
+        "",
+        None, # Test with None
+        123 # Test with non-string
+    ]
+    for phrase in test_phrases:
+        print(f"Input: '{phrase}' (type: {type(phrase).__name__})")
+        tokens = tokenize_vi_simple(phrase)
+        print(f"Tokens: {tokens}")
+        print("-" * 10)