Update app.py

app.py

@@ -277,7 +277,6 @@ with st.sidebar:
         ("پشتیبانی فنی", "https://cdn-icons-png.flaticon.com/512/597/597177.png", None),
     ]
 
-    # لود فونت Vazir از CDN
     st.markdown("""
         <link href="https://cdn.jsdelivr.net/gh/rastikerdar/[email protected]/dist/font-face.css" rel="stylesheet" type="text/css" />
     """, unsafe_allow_html=True)
@@ -543,75 +542,85 @@ st.markdown("""
 
 
 
+from sentence_transformers import SentenceTransformer, util
+
+model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
+
 if query:
     found = False
-    threshold = 62
-
-    for idx, sentence in enumerate(all_sentences):
-        similarity = fuzz.partial_ratio(query, sentence)
-        if similarity >= threshold:
-            prompt = f"""
-                        تعدادی پاسخ برای سوال زیر تولید شده است. لطفاً ابتدا این پاسخ‌ها را بررسی کن، سپس با در نظر گرفتن محتوای سوال و لحن آن، یک پاسخ نهایی حرفه‌ای، دقیق و روان ارائه کن که هم به سوال پاسخ دهد و هم از نظر نگارشی و ساختاری در سطح بالایی باشد. پاسخ نهایی باید حداکثر 1024 کاراکتر و حداقل 512 باشد، خلاصه و واضح نوشته شود و فقط به زبان فارسی باشد. از تکرار اضافی پرهیز کن و محتوای چند پاسخ را در صورت نیاز با هم ترکیب کن.
-                        سوال:
-                        {query}
-                        پاسخ‌ها:
-                        {sentence}
-                        پاسخ نهایی حرفه‌ای بازنویسی‌شده:
-                        """
-            response = llm([
-                SystemMessage(content="You are a helpful assistant."),
-                HumanMessage(content=prompt)
-            ])
-            rewritten = response.content.strip()
+    threshold = 0.70  
+
+    sentence_embeddings = model.encode(all_sentences, convert_to_tensor=True)
+    query_embedding = model.encode(query, convert_to_tensor=True)
+
+    similarities = util.cos_sim(query_embedding, sentence_embeddings)[0]
+
+    top_indices = [i for i, sim in enumerate(similarities) if sim >= threshold]
+
+    for idx in top_indices:
+        sentence = all_sentences[idx]
+        prompt = f"""
+                    تعدادی پاسخ برای سوال زیر تولید شده است. لطفاً ابتدا این پاسخ‌ها را بررسی کن، سپس با در نظر گرفتن محتوای سوال و لحن آن، یک پاسخ نهایی حرفه‌ای، دقیق و روان ارائه کن که هم به سوال پاسخ دهد و هم از نظر نگارشی و ساختاری در سطح بالایی باشد. پاسخ نهایی باید حداکثر 2048 کاراکتر و حداقل 512 باشد، خلاصه و واضح نوشته شود و فقط به زبان فارسی باشد. از تکرار اضافی پرهیز کن و محتوای چند پاسخ را در صورت نیاز با هم ترکیب کن.
+                    سوال:
+                    {query}
+                    پاسخ‌ها:
+                    {sentence}
+                    پاسخ نهایی حرفه‌ای بازنویسی‌شده:
+                    """
+        response = llm([
+            SystemMessage(content="You are a helpful assistant."),
+            HumanMessage(content=prompt)
+        ])
+        rewritten = response.content.strip()
 
-            # بررسی مرتبط بودن پاسخ با سؤال
-            review_prompt = f"""
-            لطفاً بررسی کن که آیا پاسخ زیر، حدودا  به سوال زیر پاسخ داده است یا خیر یعنی  کلمات  کلیدی اصلی در سوال در پاسخ هست یا ن . اگر پاسخ به سوال مرتبط، درست و قابل قبول است، فقط بنویس: 'تأیید شدواگر کمی مربوط بود بنویس: 'کمی خوب''.
-            اگر پاسخ اشتباه است یا هیچ ربطی به سوال ندارد، فقط بنویس: 'نیاز به اصلاح دارد'.
+        # بررسی مرتبط بودن پاسخ با سؤال
+        review_prompt = f"""
+        لطفاً بررسی کن که آیا پاسخ زیر، حدودا  به سوال زیر پاسخ داده است یا خیر یعنی  کلمات  کلیدی اصلی در سوال در پاسخ هست یا ن . اگر پاسخ به سوال مرتبط، درست و قابل قبول است، فقط بنویس: 'تأیید شد'. اگر کمی مربوط بود بنویس: 'کمی خوب'.
+        اگر پاسخ اشتباه است یا هیچ ربطی به سوال ندارد، فقط بنویس: 'نیاز به اصلاح دارد'.
+        سوال:
+        {query}
+        پاسخ:
+        {rewritten}
+        """
+        review_response = llm([
+            SystemMessage(content="You are a helpful assistant."),
+            HumanMessage(content=review_prompt)
+        ])
+        review_result = review_response.content.strip()
+
+        if "تأیید شد" in review_result:
+            rewritten = clean_text(rewritten)
+            st.markdown(f'<div class="chat-message">{rewritten}</div>', unsafe_allow_html=True)
+        elif "کمی خوب" in review_result:
+            final_prompt = f"""
+             لطفاً برای سوال زیر پاسخی حرفه‌ای، دقیق و روان تولید کن که مرتبط و معتبر باشد. از زبانی جز فارسی استفاده نکن و بیا هم از سوال هم دیتای زیر و هم از پاسخ  استفاده کن و پاسخ مناسبی بنویس  :
             سوال:
             {query}
             پاسخ:
+            {review_result}
+            دیتا:
             {rewritten}
             """
-            review_response = llm([
+            new_1response = llm([
+                SystemMessage(content="You are a helpful assistant."),
+                HumanMessage(content=final_prompt)
+            ])
+            final_answer1 = new_1response.content.strip()
+            final_answer1 = clean_text(final_answer1)
+            st.markdown(f'<div class="chat-message">{final_answer1}</div>', unsafe_allow_html=True)
+        else:
+            final_prompt = f"""
+            لطفاً برای سوال زیر پاسخی حرفه‌ای، دقیق و روان تولید کن که مرتبط و معتبر باشد. از زبانی جز فارسی استفاده نکن :
+            سوال:
+            {query}
+            """
+            new_response = llm([
                 SystemMessage(content="You are a helpful assistant."),
-                HumanMessage(content=review_prompt)
+                HumanMessage(content=final_prompt)
             ])
-            review_result = review_response.content.strip()
-            if "تأیید شد" in review_result:
-                rewritten = clean_text(rewritten)
-                st.markdown(f'<div class="chat-message">{rewritten}</div>', unsafe_allow_html=True)
-            elif "کمی خوب" in review_result:
-                final_prompt = f"""
-                 لطفاً برای سوال زیر پاسخی حرفه‌ای، دقیق و روان تولید کن که مرتبط و معتبر باشد. از زبانی جز فارسی استفاده نکن و بیا هم از سوال هم دیتای زیر و هم از پاسخ  استفاده کن و پاسخ مناسبی بنویس  :
-                سوال:
-                {query}
-                پاسخ:
-                {review_result}
-                دیتا:
-                {rewritten}
-                """
-                new_1response = llm([
-                    SystemMessage(content="You are a helpful assistant."),
-                    HumanMessage(content=final_prompt)
-                ])
-                final_answer1 = new_1response.content.strip()
-                final_answer1 = clean_text(final_answer1)
-                st.markdown(f'<div class="chat-message">{final_answer1}</div>', unsafe_allow_html=True)
-
-            else:
-                final_prompt = f"""
-                لطفاً برای سوال زیر پاسخی حرفه‌ای، دقیق و روان تولید کن که مرتبط و معتبر باشد. از زبانی جز فارسی استفاده نکن :
-                سوال:
-                {query}
-                """
-                new_response = llm([
-                    SystemMessage(content="You are a helpful assistant."),
-                    HumanMessage(content=final_prompt)
-                ])
-                final_answer = new_response.content.strip()
-                final_answer = clean_text(final_answer)
-                st.markdown(f'<div class="chat-message">{final_answer}</div>', unsafe_allow_html=True)
+            final_answer = new_response.content.strip()
+            final_answer = clean_text(final_answer)
+            st.markdown(f'<div class="chat-message">{final_answer}</div>', unsafe_allow_html=True)
 
             think.empty()
             found = True