app.py

import dspy, gradio as gr
import chromadb
import fitz  # PyMuPDF
from sentence_transformers import SentenceTransformer
import json
from dspy import Example, MIPROv2, Evaluate, evaluate

# إعداد نموذج مفتوح المصدر
dspy.settings.configure(lm=dspy.LM("mistralai/Mistral-7B-Instruct-v0.2"))

# إعداد Chroma بطريقة حديثة
client = chromadb.PersistentClient(path="./chroma_db")
col = client.get_or_create_collection(name="arabic_docs")

# نموذج توليد embeddings يدعم العربية
embedder = SentenceTransformer("sentence-transformers/LaBSE")

# تقطيع النصوص من PDF
def process_pdf(pdf_bytes):
    doc = fitz.open(stream=pdf_bytes, filetype="pdf")
    texts = []
    for p in doc:
        text = p.get_text()
        for chunk in text.split("\n\n"):
            if len(chunk.strip()) > 50:
                texts.append(chunk.strip())
    return texts

# إدخال النصوص في قاعدة Chroma
def ingest(pdf_file):
    if hasattr(pdf_file, "read"):
        pdf_bytes = pdf_file.read()
    else:
        with open(pdf_file.name, "rb") as f:
            pdf_bytes = f.read()
    texts = process_pdf(pdf_bytes)
    embeddings = embedder.encode(texts, show_progress_bar=True)
    for i, (chunk, emb) in enumerate(zip(texts, embeddings)):
        col.add(ids=[f"chunk_{i}"], embeddings=[emb.tolist()], metadatas=[{"text": chunk}])
    return f"✅ تمت إضافة {len(texts)} مقطعاً."

# استرجاع السياق من Chroma
def retrieve_context(question):
    query_embedding = embedder.encode([question])[0]  # تحويل السؤال إلى embedding
    results = col.query(query_embeddings=[query_embedding], n_results=3)
    context_list = [m["text"] for m in results["metadatas"][0]]  # استخراج السياق من النتائج
    return "\n\n".join(context_list)

# توقيع RAG
class RagSig(dspy.Signature):
    question: str = dspy.InputField()
    context: str = dspy.InputField()
    answer: str = dspy.OutputField()

# وحدة DSPy
class RagMod(dspy.Module):
    def __init__(self):
        super().__init__()
        self.predictor = dspy.Predict(RagSig)

    def forward(self, question):
        context = retrieve_context(question)
        return self.predictor(question=question, context=context)

model = RagMod()

# توليد إجابة
def answer(question):
    out = model(question)
    return out.answer

# تحميل بيانات تدريب/تقييم
def load_dataset(path):
    with open(path, "r", encoding="utf-8") as f:
        return [Example(**json.loads(l)).with_inputs("question") for l in f]

# تحسين النموذج باستخدام MIPROv2
def optimize(train_file, val_file):
    global model
    trainset = load_dataset(train_file.name)
    valset = load_dataset(val_file.name)
    tp = MIPROv2(metric=evaluate.answer_exact_match, auto="light", num_threads=4)
    optimized = tp.compile(model, trainset=trainset, valset=valset)
    model = optimized
    return "✅ تم تحسين النموذج!"

# واجهة Gradio
with gr.Blocks() as demo:
    gr.Markdown("## 🧠 نظام RAG عربي باستخدام DSPy + نموذج مفتوح المصدر")

    with gr.Tab("📥 تحميل وتخزين"):
        pdf_input = gr.File(label="ارفع ملف PDF", type="file")
        ingest_btn = gr.Button("إضافة إلى قاعدة البيانات")
        ingest_out = gr.Textbox(label="نتيجة الإضافة")
        ingest_btn.click(ingest, inputs=pdf_input, outputs=ingest_out)

    with gr.Tab("❓ سؤال"):
        q = gr.Textbox(label="اكتب سؤالك بالعربية")
        answer_btn = gr.Button("احصل على الإجابة")
        out = gr.Textbox(label="الإجابة")
        answer_btn.click(answer, inputs=q, outputs=out)

    with gr.Tab("⚙️ تحسين النموذج"):
        train_file = gr.File(label="trainset.jsonl")
        val_file = gr.File(label="valset.jsonl")
        opt_btn = gr.Button("ابدأ التحسين")
        result = gr.Textbox(label="نتيجة التحسين")
        opt_btn.click(optimize, inputs=[train_file, val_file], outputs=result)

    demo.launch()