# app/rag_system.py from __future__ import annotations import os from pathlib import Path from typing import List, Tuple import faiss import numpy as np from pypdf import PdfReader from sentence_transformers import SentenceTransformer # ----------------------------- # Konfiqurasiya & qovluqlar # ----------------------------- ROOT_DIR = Path(__file__).resolve().parent.parent DATA_DIR = ROOT_DIR / "data" UPLOAD_DIR = DATA_DIR / "uploads" INDEX_DIR = DATA_DIR / "index" # HF Spaces-də yazma icazəsi olan cache qovluğu CACHE_DIR = Path(os.getenv("HF_HOME", str(ROOT_DIR / ".cache"))) for d in (DATA_DIR, UPLOAD_DIR, INDEX_DIR, CACHE_DIR): d.mkdir(parents=True, exist_ok=True) # Model adı ENV-dən dəyişdirilə bilər MODEL_NAME = os.getenv("EMBED_MODEL", "sentence-transformers/all-MiniLM-L6-v2") class SimpleRAG: """ Sadə RAG nüvəsi: - PDF -> mətn parçalama - Sentence-Transformers embeddings - FAISS Index (IP / cosine bərabərləşdirilmiş) """ def __init__( self, index_path: Path = INDEX_DIR / "faiss.index", meta_path: Path = INDEX_DIR / "meta.npy", model_name: str = MODEL_NAME, cache_dir: Path = CACHE_DIR, ): self.index_path = Path(index_path) self.meta_path = Path(meta_path) self.model_name = model_name self.cache_dir = Path(cache_dir) # Model # cache_folder Spaces-də /.cache icazə xətasının qarşısını alır self.model = SentenceTransformer(self.model_name, cache_folder=str(self.cache_dir)) self.embed_dim = self.model.get_sentence_embedding_dimension() # FAISS index və meta (chunks) self.index: faiss.Index = None # type: ignore self.chunks: List[str] = [] self._load() # ----------------------------- # Yükləmə / Saxlama # ----------------------------- def _load(self) -> None: # Chunks (meta) yüklə if self.meta_path.exists(): try: self.chunks = np.load(self.meta_path, allow_pickle=True).tolist() except Exception: # zədələnmişsə sıfırla self.chunks = [] # FAISS index yüklə if self.index_path.exists(): try: idx = faiss.read_index(str(self.index_path)) # ölçü uyğunluğunu yoxla if hasattr(idx, "d") and idx.d == self.embed_dim: self.index = idx else: # uyğunsuzluqda sıfırdan qur self.index = faiss.IndexFlatIP(self.embed_dim) except Exception: self.index = faiss.IndexFlatIP(self.embed_dim) else: self.index = faiss.IndexFlatIP(self.embed_dim) def _persist(self) -> None: faiss.write_index(self.index, str(self.index_path)) np.save(self.meta_path, np.array(self.chunks, dtype=object)) # ----------------------------- # PDF -> Mətn -> Parçalama # ----------------------------- @staticmethod def _pdf_to_texts(pdf_path: Path, step: int = 800) -> List[str]: reader = PdfReader(str(pdf_path)) pages_text: List[str] = [] for page in reader.pages: t = page.extract_text() or "" if t.strip(): pages_text.append(t) chunks: List[str] = [] for txt in pages_text: for i in range(0, len(txt), step): chunk = txt[i : i + step].strip() if chunk: chunks.append(chunk) return chunks # ----------------------------- # Index-ə əlavə # ----------------------------- def add_pdf(self, pdf_path: Path) -> int: texts = self._pdf_to_texts(pdf_path) if not texts: return 0 emb = self.model.encode( texts, convert_to_numpy=True, normalize_embeddings=True, show_progress_bar=False ) # FAISS-ə əlavə self.index.add(emb.astype(np.float32)) # Meta-ya əlavə self.chunks.extend(texts) # Diskə yaz self._persist() return len(texts) # ----------------------------- # Axtarış # ----------------------------- def search(self, query: str, k: int = 5) -> List[Tuple[str, float]]: if self.index is None: return [] q = self.model.encode([query], convert_to_numpy=True, normalize_embeddings=True) # FAISS float32 gözləyir D, I = self.index.search(q.astype(np.float32), min(k, max(1, self.index.ntotal))) results: List[Tuple[str, float]] = [] if I.size > 0 and self.chunks: for idx, score in zip(I[0], D[0]): if 0 <= idx < len(self.chunks): results.append((self.chunks[idx], float(score))) return results # ----------------------------- # Cavab Sinttezi (LLM-siz demo) # ----------------------------- def synthesize_answer(self, question: str, contexts: List[str]) -> str: if not contexts: return "Kontekst tapılmadı. Sualı daha dəqiq verin və ya PDF yükləyin." joined = "\n---\n".join(contexts[:3]) return ( f"Sual: {question}\n\n" f"Cavab (kontekstdən çıxarış):\n{joined}\n\n" f"(Qeyd: Demo rejimi — LLM inteqrasiyası üçün sonradan OpenAI/Groq və s. əlavə edilə bilər.)" ) # Köhnə import yolunu dəstəkləmək üçün eyni funksiyanı modul səviyyəsində də saxlayırıq def synthesize_answer(question: str, contexts: List[str]) -> str: if not contexts: return "Kontekst tapılmadı. Sualı daha dəqiq verin və ya PDF yükləyin." joined = "\n---\n".join(contexts[:3]) return ( f"Sual: {question}\n\n" f"Cavab (kontekstdən çıxarış):\n{joined}\n\n" f"(Qeyd: Demo rejimi — LLM inteqrasiyası üçün sonradan OpenAI/Groq və s. əlavə edilə bilər.)" ) # Faylı import edən tərəfin rahatlığı üçün bu qovluqları export edirik __all__ = [ "SimpleRAG", "synthesize_answer", "DATA_DIR", "UPLOAD_DIR", "INDEX_DIR", "CACHE_DIR", "MODEL_NAME", ]