Update app.py

app.py

@@ -1,21 +1,25 @@
+import os
 import dspy
 import gradio as gr
 import chromadb
 import fitz  # PyMuPDF
-from sentence_transformers import SentenceTransformer
 import json
-import os
+from sentence_transformers import SentenceTransformer
 from dspy import Example, MIPROv2, Evaluate, evaluate
+from litellm import completion  # Ensure LiteLLM is installed
+from dspy.lm import LiteLLM
 
-# احصل على التوكن من متغيرات البيئة
-HF_TOKEN = os.environ["HF_TOKEN"]
-
-# إعداد نموذج اللغة باستخدام Hugging Face Inference API
+# إعداد نموذج اللغة باستخدام LiteLLM + Hugging Face
+HF_TOKEN = os.environ.get("HF_TOKEN")
 dspy.settings.configure(
-    lm=dspy.HFInference(model="mistralai/Mistral-7B-Instruct-v0.2", token=HF_TOKEN)
+    lm=LiteLLM(
+        model="HuggingFaceH4/zephyr-7b-beta",
+        api_base="https://api-inference.huggingface.co/v1",
+        api_key=HF_TOKEN
+    )
 )
 
-# إعداد قاعدة Chroma
+# إعداد قاعدة بيانات Chroma
 client = chromadb.PersistentClient(path="./chroma_db")
 col = client.get_or_create_collection(name="arabic_docs")
 
@@ -35,7 +39,7 @@ def process_pdf(pdf_bytes):
 
 # إدخال البيانات في Chroma
 def ingest(pdf_file):
-    pdf_bytes = pdf_file  # لأننا استخدمنا type='binary'
+    pdf_bytes = pdf_file
     texts = process_pdf(pdf_bytes)
     embeddings = embedder.encode(texts, show_progress_bar=True)
     for i, (chunk, emb) in enumerate(zip(texts, embeddings)):
@@ -72,7 +76,7 @@ def answer(question):
     out = model(question)
     return out.answer
 
-# تحميل مجموعة بيانات التدريب/التحقق
+# تحميل بيانات التدريب والتحقق
 def load_dataset(path):
     with open(path, "r", encoding="utf-8") as f:
         return [Example(**json.loads(l)).with_inputs("question") for l in f]
@@ -89,7 +93,7 @@ def optimize(train_file, val_file):
 
 # واجهة Gradio
 with gr.Blocks() as demo:
-    gr.Markdown("## 🧠 نظام RAG عربي باستخدام DSPy + ChromaDB + Mistral")
+    gr.Markdown("## 🧠 نظام RAG عربي باستخدام DSPy + ChromaDB + Hugging Face")
 
     with gr.Tab("📥 تحميل وتخزين"):
         pdf_input = gr.File(label="ارفع ملف PDF", type="binary")