Update app.py

app.py

@@ -541,54 +541,45 @@ st.markdown("""
 
 import string
 from hazm import word_tokenize
+from concurrent.futures import ThreadPoolExecutor
 
 def extract_keywords(query):
     tokenizer = WordTokenizer()
     words = tokenizer.tokenize(query)
-    
-    keywords = [word for word in words if word not in string.punctuation]
-    return keywords
+    return [word for word in words if word not in string.punctuation]
 
-# تابع برای پاک‌سازی متن
 def clean_text(text):
     return text.strip()
 
-# فرض: query یک رشته‌ی متنی از کاربر است
+def compute_similarity(sentence, query, threshold):
+    similarity = fuzz.partial_ratio(query, sentence)
+    if similarity >= threshold:
+        return sentence
+    return None
+
+# فرض: query و all_sentences قبلاً تعریف شده‌اند
 if query:
     threshold = 75
-    matched_sentences = []
-
-    # استخراج کلمات کلیدی
     keywords = extract_keywords(query)
 
-    # جستجوی جملات مشابه با استفاده از fuzzy matching
-    for idx, sentence in enumerate(all_sentences):
-        similarity = fuzz.partial_ratio(query, sentence)
-        if similarity >= threshold:
-            matched_sentences.append(sentence)
+    # استفاده از پردازش موازی برای افزایش سرعت fuzzy matching
+    with ThreadPoolExecutor(max_workers=8) as executor:
+        futures = [executor.submit(compute_similarity, sentence, query, threshold) for sentence in all_sentences]
+        matched_sentences = [future.result() for future in futures if future.result()]
 
     if matched_sentences:
-        found_sentences = []
-
-        # بررسی وجود حداقل یکی از کلمات کلیدی در جملات
-        for sentence in matched_sentences:
-            if any(keyword in sentence for keyword in keywords):
-                found_sentences.append(sentence)
+        found_sentences = [sentence for sentence in matched_sentences if any(keyword in sentence for keyword in keywords)]
 
         if found_sentences:
             matched_text = "\n".join(found_sentences)
             st.markdown(matched_text)
 
-
             prompt = f"""
             تعدادی پاسخ برای سوال زیر تولید شده است. لطفاً ابتدا این پاسخ‌ها را بررسی کن، سپس با در نظر گرفتن محتوای سوال و لحن آن، یک پاسخ نهایی حرفه‌ای، دقیق و روان از داخل پاسخ‌ها ارائه کن که هم به سوال پاسخ دهد و هم از نظر نگارشی و ساختاری در سطح بالایی باشد. پاسخ نهایی باید حداکثر 2048 کاراکتر و حداقل 512 باشد، خلاصه و واضح نوشته شود و فقط به زبان فارسی باشد. از تکرار اضافی پرهیز کن و فقط از پاسخ‌های زیر استفاده کن. در صورت نیاز، محتوای چند پاسخ را با هم ترکیب کن.
-
             سوال:
             {query}
-
             پاسخ‌ها:
             {matched_text}
-
             پاسخ نهایی حرفه‌ای بازنویسی‌شده:
             """
 
@@ -596,7 +587,7 @@ if query:
                 SystemMessage(content="You are a helpful assistant."),
                 HumanMessage(content=prompt)
             ])
-            rewritten = response.content.strip()
+            rewritten = clean_text(response.content.strip())
 
             review_prompt = f"""
             لطفاً بررسی کن که آیا پاسخ زیر به سوال داده‌شده مرتبط، دقیق و معتبر است یا خیر. اگر پاسخ قابل قبول و دقیق است بنویس 'تأیید شد'. اگر متوسط است بنویس 'کمی خوب'. اگر بی‌ربط یا اشتباه است بنویس 'نیاز به اصلاح دارد'.
@@ -613,7 +604,6 @@ if query:
             review_result = review_response.content.strip()
 
             if "تأیید شد" in review_result:
-                rewritten = clean_text(rewritten)
                 st.markdown(f'<div class="chat-message">{rewritten}</div>', unsafe_allow_html=True)
 
             elif "کمی خوب" in review_result:
@@ -646,15 +636,15 @@ if query:
                 st.markdown(f'<div class="chat-message">{final_fallback}</div>', unsafe_allow_html=True)
 
         else:
-            prompt = f"""
+            fallback_prompt = f"""
             لطفاً برای سوال زیر یک متن مرتبط و معتبر تولید کن. اگر اطلاعات کافی وجود ندارد، صادقانه اعلام کن. فقط به زبان فارسی پاسخ بده:
             سوال:
             {query}
             """
             response = llm([
                 SystemMessage(content="You are a helpful assistant."),
-                HumanMessage(content=prompt)
+                HumanMessage(content=fallback_prompt)
             ])
             rewritten = clean_text(response.content.strip())
             st.markdown(f'<div class="chat-message">{rewritten}</div>', unsafe_allow_html=True)
-            think.empty()
+            think.empty()