Update app.py

app.py

@@ -274,7 +274,6 @@ with st.sidebar:
         ("پشتیبانی فنی", "https://cdn-icons-png.flaticon.com/512/597/597177.png", None),
     ]
 
-    # لود فونت Vazir از CDN
     st.markdown("""
         <link href="https://cdn.jsdelivr.net/gh/rastikerdar/[email protected]/dist/font-face.css" rel="stylesheet" type="text/css" />
     """, unsafe_allow_html=True)
@@ -540,98 +539,96 @@ st.markdown("""
 
 
 
-import os
-import json
 from sentence_transformers import SentenceTransformer, util
 
-# بارگذاری مدل
-model = SentenceTransformer("nomic-ai/nomic-embed-text-v2-moe", trust_remote_code=True)
-embeddings_cache_path = "book_embeddings_cache.json"
-
-def load_embeddings_from_cache():
-    """بارگذاری امبدینگ‌ها از کش (فایل JSON)"""
-    if os.path.exists(embeddings_cache_path):
-        with open(embeddings_cache_path, "r") as file:
-            return json.load(file)
-    return {}
-
-def save_embeddings_to_cache(embeddings):
-    """ذخیره امبدینگ‌ها به کش (فایل JSON)"""
-    with open(embeddings_cache_path, "w") as file:
-        json.dump(embeddings, file)
-
-# بارگذاری امبدینگ‌های قبلی از کش (اگر موجود باشد)
-book_embeddings = load_embeddings_from_cache()
+model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
 
 if query:
     found = False
-    threshold =0.7
+    threshold = 0.70  
 
-    # بررسی اینکه آیا امبدینگ‌های سوال قبلاً محاسبه شده یا خیر
+    sentence_embeddings = model.encode(all_sentences, convert_to_tensor=True)
     query_embedding = model.encode(query, convert_to_tensor=True)
 
-    # اگر امبدینگ‌های کتاب در کش نباشند، آن‌ها را محاسبه و ذخیره می‌کنیم
-    if not book_embeddings:
-        print("Emeddings for the book are not cached. Embedding the book now...")
-        # فرض کنید 'all_sentences' لیستی از جملات کتاب است
-        all_sentences_embeddings = model.encode(all_sentences, convert_to_tensor=True)
-        # ذخیره امبدینگ‌های کتاب در کش
-        book_embeddings = {idx: embedding.tolist() for idx, embedding in enumerate(all_sentences_embeddings)}
-        save_embeddings_to_cache(book_embeddings)
-
-    # محاسبه مشابهت‌ها با استفاده از امبدینگ‌های کتاب
-    sentence_embeddings = [embedding for embedding in book_embeddings.values()]
-    similarities = util.pytorch_cos_sim(query_embedding, sentence_embeddings)[0]
-
-    for idx, similarity in enumerate(similarities):
-        if similarity >= threshold:
-            sentence = all_sentences[idx]
-            prompt = f"""
-                        تعدادی پاسخ برای سوال زیر تولید شده است. لطفاً ابتدا این پاسخ‌ها را بررسی کن، سپس با در نظر گرفتن محتوای سوال و لحن آن، یک پاسخ نهایی حرفه‌ای، دقیق و روان ارائه کن که هم به سوال پاسخ دهد و هم از نظر نگارشی و ساختاری در سطح بالایی باشد. پاسخ نهایی باید حداکثر 1024 کاراکتر و حداقل 512 باشد، خلاصه و واضح نوشته شود و فقط به زبان فارسی باشد. از تکرار اضافی پرهیز کن و محتوای چند پاسخ را در صورت نیاز با هم ترکیب کن.
-                        سوال:
-                        {query}
-                        پاسخ‌ها:
-                        {sentence}
-                        پاسخ نهایی حرفه‌ای بازنویسی‌شده:
-                        """
-            response = llm([SystemMessage(content="You are a helpful assistant."), HumanMessage(content=prompt)])
-            rewritten = response.content.strip()
-
-            # بررسی مرتبط بودن پاسخ با سؤال
-            review_prompt = f"""
-            لطفاً بررسی کن که آیا پاسخ زیر،   به سوال زیر پاسخ داده است یا خیر یعنی  کلمات  کلیدی اصلی در سوال در پاسخ هست یا نه. اگر پاسخ به سوال مرتبط، درست و معتبر و حتما معتبر و قابل قبول است، فقط بنویس: 'تأیید شد'.  اگر پاسخ اشتباه است یا هیچ ربطی به سوال ندارد و یا معتبر نیست ، فقط بنویس: 'نیاز به اصلاح دارد'.
+    similarities = util.cos_sim(query_embedding, sentence_embeddings)[0]
+
+    top_indices = [i for i, sim in enumerate(similarities) if sim >= threshold]
+
+    for idx in top_indices:
+        sentence = all_sentences[idx]
+        prompt = f"""
+                    تعدادی پاسخ برای سوال زیر تولید شده است. لطفاً ابتدا این پاسخ‌ها را بررسی کن، سپس با در نظر گرفتن محتوای سوال و لحن آن، یک پاسخ نهایی حرفه��ای، دقیق و روان ارائه کن که هم به سوال پاسخ دهد و هم از نظر نگارشی و ساختاری در سطح بالایی باشد. پاسخ نهایی باید حداکثر 2048 کاراکتر و حداقل 512 باشد، خلاصه و واضح نوشته شود و فقط به زبان فارسی باشد. از تکرار اضافی پرهیز کن و محتوای چند پاسخ را در صورت نیاز با هم ترکیب کن.
+                    سوال:
+                    {query}
+                    پاسخ‌ها:
+                    {sentence}
+                    پاسخ نهایی حرفه‌ای بازنویسی‌شده:
+                    """
+        response = llm([
+            SystemMessage(content="You are a helpful assistant."),
+            HumanMessage(content=prompt)
+        ])
+        rewritten = response.content.strip()
+
+        # بررسی مرتبط بودن پاسخ با سؤال
+        review_prompt = f"""
+        لطفاً بررسی کن که آیا پاسخ زیر، حدودا  به سوال زیر پاسخ داده است یا خیر یعنی  کلمات  کلیدی اصلی در سوال در پاسخ هست یا ن . اگر پاسخ به سوال مرتبط، درست و قابل قبول است، فقط بنویس: 'تأیید شد'. اگر کمی مربوط بود بنویس: 'کمی خوب'.
+        اگر پاسخ اشتباه است یا هیچ ربطی به سوال ندارد، فقط بنویس: 'نیاز به اصلاح دارد'.
+        سوال:
+        {query}
+        پاسخ:
+        {rewritten}
+        """
+        review_response = llm([
+            SystemMessage(content="You are a helpful assistant."),
+            HumanMessage(content=review_prompt)
+        ])
+        review_result = review_response.content.strip()
+
+        if "تأیید شد" in review_result:
+            rewritten = clean_text(rewritten)
+            st.markdown(f'<div class="chat-message">{rewritten}</div>', unsafe_allow_html=True)
+        elif "کمی خوب" in review_result:
+            final_prompt = f"""
+             لطفاً برای سوال زیر پاسخی حرفه‌ای، دقیق و روان تولید کن که مرتبط و معتبر باشد. از زبانی جز فارسی استفاده نکن و بیا هم از سوال هم دیتای زیر و هم از پاسخ  استفاده کن و پاسخ مناسبی بنویس  :
             سوال:
             {query}
             پاسخ:
+            {review_result}
+            دیتا:
             {rewritten}
             """
-            review_response = llm([SystemMessage(content="You are a helpful assistant."), HumanMessage(content=review_prompt)])
-            review_result = review_response.content.strip()
-            
-            if "تأیید شد" in review_result:
-                rewritten = clean_text(rewritten)
-                st.markdown(f'<div class="chat-message">{rewritten}</div>', unsafe_allow_html=True)
-            
-            else:
-                prompt_to_extract = f"""
-                لطفاً برای سوال زیر پاسخی معتبر و مرتبط تولید کن که در متن کتاب موجود باشد و به سوال پاسخ دهد. اگر در متن کتاب چیزی برای پاسخ به سوال یافت نمی‌شود، از دانش خود برای ایجاد پاسخ استفاده کن.
-                سوال:
-                {query}
-                جملات مشابه از متن کتاب:
-                {sentence}
-                """
-                new_response = llm([SystemMessage(content="You are a helpful assistant."), HumanMessage(content=prompt_to_extract)])
-                final_answer = new_response.content.strip()
-                final_answer = clean_text(final_answer)
-                st.markdown(f'<div class="chat-message">{final_answer}</div>', unsafe_allow_html=True)
+            new_1response = llm([
+                SystemMessage(content="You are a helpful assistant."),
+                HumanMessage(content=final_prompt)
+            ])
+            final_answer1 = new_1response.content.strip()
+            final_answer1 = clean_text(final_answer1)
+            st.markdown(f'<div class="chat-message">{final_answer1}</div>', unsafe_allow_html=True)
+        else:
+            final_prompt = f"""
+            لطفاً برای سوال زیر پاسخی حرفه‌ای، دقیق و روان تولید کن که مرتبط و معتبر باشد. از زبانی جز فارسی استفاده نکن :
+            سوال:
+            {query}
+            """
+            new_response = llm([
+                SystemMessage(content="You are a helpful assistant."),
+                HumanMessage(content=final_prompt)
+            ])
+            final_answer = new_response.content.strip()
+            final_answer = clean_text(final_answer)
+            st.markdown(f'<div class="chat-message">{final_answer}</div>', unsafe_allow_html=True)
 
             think.empty()
             found = True
             break
 
     if not found:
-        prompt = f"لطفاً بر اساس سوال زیر یک متن مرتبط و معنادار تولید کن و جملات ساختگی استفاده نکن و از جملات موجود در اسناد و جملات معتبر استفاده کن و از زبانی جز فارسی استفاده نکن:\n\nسوال: {query}"
-        response = llm([SystemMessage(content="You are a helpful assistant."), HumanMessage(content=prompt)])
+        prompt = f"لطفاً بر اساس سوال زیر یک متن مرتبط و معنادار تولید کن و از خودت ننویس و جملات معتبر باشن و از زبانی جز فارسی استفاده نکن:\n\nسوال: {query}"
+        response = llm([
+            SystemMessage(content="You are a helpful assistant."),
+            HumanMessage(content=prompt)
+        ])
         rewritten = response.content.strip()
         rewritten = clean_text(rewritten)
         st.markdown(f'<div class="chat-message">{rewritten}</div>', unsafe_allow_html=True)