Update file_loader.py

file_loader.py

@@ -10,13 +10,16 @@ from helpers import (
     get_splits,  # Xử lý file docx thành splits
     get_json_splits_only,  # Xử lý file JSON (FAQ)  
     get_web_documents,  # Xử lý dữ liệu từ web
+    update_documents_metadata,
+    define_metadata
 )
 
 import json
 
 def get_vectorstore():
     ### Xử lý tất cả các tài liệu và nhét vào database
-    folder_path = "syllabus_nct_word_format/"
+    folder_path = 'syllabus_nct_word_format/Trường Công nghệ/Chương trình An toàn thông tin'
+    #"syllabus_nct_word_format/"
     #'syllabus_nct_word_format/Trường Công nghệ/debug'
     # 'syllabus_nct_word_format/Trường Công nghệ/Chương trình An toàn thông tin'
     #
@@ -39,8 +42,10 @@ def get_vectorstore():
         output_json_path = f"output_{i}.json"
         
         try:
+            metadata = define_metadata(file_path)
             splits = get_splits(file_path, output_json_path)
-            all_splits += splits  # Append successful splits
+            splits_with_metadata = update_documents_metadata(splits, metadata)
+            all_splits += splits_with_metadata    
         except Exception as e:
             print(f"Error processing {file_path}: {e}")
             error_files.append(file_path)  # Store the problematic file