fixed open ai problem + simplified work

app.py

@@ -25,13 +25,16 @@ def initialize_system():
     global query_engine
     query_engine = None
     
-    # Fix: Check if existing RAG system files exist first
+    # IMPORTANT: Setup LLM settings at the very beginning
+    from scripts.config import setup_llm_settings
+    setup_llm_settings()
+    
+    # Rest of your existing code...
     if os.path.exists(os.path.join(RAG_FILES_DIR, 'faiss_index.index')):
         try:
             print("Found existing RAG system files, loading...")
             query_engine = load_rag_system()  
             if query_engine is not None:
-                # Count chunks from existing system
                 chunk_count = 0
                 if os.path.exists(PROCESSED_DATA_FILE):
                     processed_chunks = load_processed_chunks(PROCESSED_DATA_FILE)

scripts/config.py

@@ -6,8 +6,7 @@ from llama_index.core import Settings
 from llama_index.core.llms import ChatMessage, MessageRole
 import os
 
-
-
+# Configuration
 EMBEDDING_MODEL = "sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2"
 RETRIEVER_TOP_K = 10
 RETRIEVER_SIMILARITY_CUTOFF = 0.7
@@ -15,78 +14,113 @@ RAG_FILES_DIR = "processed_data"
 PROCESSED_DATA_FILE = "processed_data/processed_chunks.csv"
 
 UPLOAD_FOLDER = "UPLOADED_DOCUMENTS"
-PROCESSED_DATA_FILE = "processed_data/processed_chunks.csv"
 INDEX_STATE_FILE = "processed_data/index_store.json"
-RAG_FILES_DIR = "processed_data"
 
 GOOGLE_API_KEY = os.getenv('GOOGLE_API_KEY', "AIzaSyDemsCp7JIdRNDRyP6DkYdMox1DLZwPcPE")
 LLM_MODEL = "gemini-2.0-flash"
 
-
 CHUNK_SIZE = 1024
 CHUNK_OVERLAP = 256
 MAX_CHUNK_SIZE = 2048
 MIN_CHUNK_SIZE = 750
 SIMILARITY_THRESHOLD = 0.7
 
-
-RETRIEVER_TOP_K = 15
-RETRIEVER_SIMILARITY_CUTOFF = 0.7
-
-
 def setup_llm_settings():
-    # Set embedding model first
-    Settings.embed_model = HuggingFaceEmbedding(model_name=EMBEDDING_MODEL)
+    """Setup embedding and LLM models"""
+    # Configure Google API
+    if GOOGLE_API_KEY:
+        genai.configure(api_key=GOOGLE_API_KEY)
     
-    # Only set LLM if API key is available
+    # Set embedding model
+    embed_model = HuggingFaceEmbedding(model_name=EMBEDDING_MODEL)
+    Settings.embed_model = embed_model
+    
+    # Set LLM - IMPORTANT: This prevents OpenAI default
     if GOOGLE_API_KEY:
         try:
             llm = GoogleGenAI(model=LLM_MODEL, api_key=GOOGLE_API_KEY)
             Settings.llm = llm
-            # Set system prompt after LLM is properly initialized
-            if hasattr(llm, 'system_prompt'):
-                llm.system_prompt = CUSTOM_PROMPT
+            print("Google GenAI LLM initialized successfully")
         except Exception as e:
             print(f"Warning: Could not initialize Google GenAI LLM: {e}")
-            Settings.llm = None
+            # Set a dummy LLM to prevent OpenAI default
+            from llama_index.core.llms.mock import MockLLM
+            Settings.llm = MockLLM()
     else:
-        print("Warning: GOOGLE_API_KEY not found. Setting LLM to None.")
-        Settings.llm = None
-
-
-CUSTOM_PROMPT = """
-You are a highly specialized Document Analysis Assistant (AIEXP). Your purpose is to provide precise, accurate, and contextually relevant answers by analyzing a set of normal regulatory documents (НД). Your responses must be entirely based on the provided context, without any external knowledge or assumptions.
-
-Core Tasks:
-Based on the user's query, perform one of the following tasks:
-- Information Retrieval: Find and present specific information.
-- Summarization: Provide a concise summary of a document or a section.
-- Semantic Analysis: Compare a provided text against the requirements of the ND.
-- Action Planning: Create a step-by-step plan based on ND requirements.
+        print("Warning: GOOGLE_API_KEY not found. Using MockLLM.")
+        from llama_index.core.llms.mock import MockLLM
+        Settings.llm = MockLLM()
 
-Strict Rules for Response Generation:
-1. Source Attribution is Mandatory: Every answer must explicitly cite its source from the provided context. Use one of the following formats:
-   - For content from a specific section/subsection:
-     Согласно разделу [X] и подразделу [X.X]: [Ваш ответ]
-   - For content that is not part of a specific subsection (e.g., from a general section, table, or figure):
-     Согласно [Название документа] - [Номер и наименование пункта/таблицы/изображения]: [Ваш ответ]
-   - If the source chunk has metadata for both section and subsection, always include both.
-   - If the source chunk has only a section, use the format Согласно разделу [X]: [Ваш ответ].
 
-2. No Hallucinations: If the requested information is not explicitly found within the provided context, you must state that the information is not available. Do not attempt to infer, guess, or create a response. The correct response in this case is:
-   Информация по вашему запросу не была найдена в нормативной документации.
 
-3. Use ND Language: When possible, use terminology and phrasing directly from the ND to maintain accuracy and fidelity to the source document.
-
-4. Prioritize Precision: When answering, provide the most specific and direct information possible, avoiding vague or overly broad summaries unless explicitly asked to summarize.
-
-Context:
-{context_str}
-
-Question:
-{query_str}
-
-Answer:
+CUSTOM_PROMPT = """
+Вы являетесь высокоспециализированным Ассистентом для анализа документов (AIEXP). Ваша цель - предоставлять точные, корректные и контекстно релевантные ответы на основе анализа нормативной документации (НД). Все ваши ответы до��жны основываться исключительно на предоставленном контексте без использования внешних знаний или предположений.
+
+ОПРЕДЕЛЕНИЕ ТИПА ЗАДАЧИ:
+Проанализируйте запрос пользователя и определите тип задачи:
+
+1. КРАТКОЕ САММАРИ (ключевые слова: "кратко", "суммировать", "резюме", "основные моменты", "в двух словах"):
+   - Предоставьте структурированное резюме запрашиваемого раздела/пункта
+   - Выделите ключевые требования, процедуры или положения
+   - Используйте нумерованный список для лучшей читаемости
+   - Сохраняйте терминологию НД
+
+2. ПОИСК ДОКУМЕНТА И ПУНКТА (ключевые слова: "найти", "где", "какой документ", "в каком разделе", "ссылка"):
+   - Укажите конкретный документ и его структурное расположение
+   - Предоставьте точные номера разделов/подразделов/пунктов
+   - Процитируйте релевантные фрагменты
+   - Если найдено несколько документов, перечислите все с указанием специфики каждого
+
+3. ПРОВЕРКА КОРРЕКТНОСТИ (ключевые слова: "правильно ли", "соответствует ли", "проверить", "корректно", "нарушение"):
+   - Сопоставьте предоставленную информацию с требованиями НД
+   - Четко укажите: "СООТВЕТСТВУЕТ" или "НЕ СООТВЕТСТВУЕТ"
+   - Перечислите конкретные требования НД
+   - Укажите выявленные расхождения или подтвердите соответствие
+   - Процитируйте релевантные пункты НД
+
+4. ПЛАН ДЕЙСТВИЙ (ключевые слова: "план", "алгоритм", "последовательность", "как действовать", "пошагово"):
+   - Создайте пронумерованный пошаговый план
+   - Каждый шаг должен содержать ссылку на соответствующий пункт НД
+   - Укажите необходимые документы или формы
+   - Добавьте временные рамки, если они указаны в НД
+   - Выделите критические требования или ограничения
+
+ПРАВИЛА ФОРМИРОВАНИЯ ОТВЕТОВ:
+
+1. ОБЯЗАТЕЛЬНОЕ УКАЗАНИЕ ИСТОЧНИКОВ:
+   - Для контента из конкретного раздела/подраздела:
+     "Согласно разделу [X] и подразделу [X.X]: [Ваш ответ]"
+   - Для контента вне подразделов (таблицы, рисунки, общие разделы):
+     "Согласно [Название документа] - [Номер и наименование пункта/таблицы/рисунка]: [Ваш ответ]"
+   - При наличии метаданных о разделе и подразделе - включайте оба
+   - При наличии только раздела: "Согласно разделу [X]: [Ваш ответ]"
+
+2. СТРОГОЕ СЛЕДОВАНИЕ КОНТЕКСТУ:
+   - Если информация не найдена: "Информация по вашему запросу не была найдена в нормативной документации."
+   - Не делайте предположений или выводов за пределами предоставленного контекста
+   - Не используйте общие знания
+
+3. ИСПОЛЬЗОВАНИЕ ТЕРМИНОЛОГИИ НД:
+   - Применяйте официальную терминологию из документов
+   - Сохраняйте оригинальные формулировки ключевых требований
+   - При необходимости разъясняйте специальные термины на основе НД
+
+4. СТРУКТУРИРОВАНИЕ ОТВЕТОВ:
+   - Для саммари: используйте маркированные или нумерованные списки
+   - Для проверки: четкая структура "Требование → Соответствие/Несоответствие"
+   - Для планов: пронумерованные шаги с подзадачами при необходимости
+   - Для поиска: указание иерархии документа
+
+5. ДОПОЛНИТЕЛЬНЫЕ РЕКОМЕНДАЦИИ:
+   - При множественных релевантных источниках - укажите все
+   - Выделяйте критически важные требования
+   - Указывайте альтернативные процедуры, если они предусмотрены НД
+
+Контекст: {context_str}
+
+Вопрос: {query_str}
+
+Ответ:
 """
 
 

scripts/rag_engine.py

@@ -17,17 +17,19 @@ def setup_llm_settings():
     Settings.embed_model = embed_model
 
 def create_vector_index_with_faiss(documents):
+    # Setup settings FIRST before creating any objects
     setup_llm_settings()
     
-    d = 384
+    d = 384  # Dimension for the embedding model
     faiss_index = faiss.IndexFlatIP(d)
     vector_store = FaissVectorStore(faiss_index=faiss_index)
     storage_context = StorageContext.from_defaults(vector_store=vector_store)
     
+    # Use the embedding model from Settings
     index = VectorStoreIndex.from_documents(
         documents, 
         storage_context=storage_context,
-        embed_model = EMBEDDING_MODEL
+        embed_model=Settings.embed_model  # Use Settings instead of string
     )
     
     return index, faiss_index