Update app.py

app.py

@@ -540,26 +540,30 @@ st.markdown("""
 
 
 import string
-from hazm import word_tokenize, stopwords
+from hazm import word_tokenize
 
+# تابع برای استخراج کلمات کلیدی با استفاده از hazm و بدون حذف stopwords
 def extract_keywords(query):
-    words = word_tokenize(query)
-    
-    stop_words = set(stopwords.list())
-    
-    keywords = [word for word in words if word not in stop_words and word.isalpha()]
+    tokenizer = WordTokenizer(join_abbreviations=True)
+    words = tokenizer.tokenize(query)
     
+    # حذف علائم نگارشی و فیلتر فقط روی کلمات
+    keywords = [word for word in words if word not in string.punctuation]
     return keywords
 
+# تابع برای پاک‌سازی متن
 def clean_text(text):
     return text.strip()
 
+# فرض: query یک رشته‌ی متنی از کاربر است
 if query:
     threshold = 60
     matched_sentences = []
 
+    # استخراج کلمات کلیدی
     keywords = extract_keywords(query)
-    
+
+    # جستجوی جملات مشابه با استفاده از fuzzy matching
     for idx, sentence in enumerate(all_sentences):
         similarity = fuzz.partial_ratio(query, sentence)
         if similarity >= threshold:
@@ -568,33 +572,32 @@ if query:
     if matched_sentences:
         found_sentences = []
 
+        # بررسی وجود حداقل یکی از کلمات کلیدی در جملات
         for sentence in matched_sentences:
             if any(keyword in sentence for keyword in keywords):
                 found_sentences.append(sentence)
 
         if found_sentences:
             matched_text = "\n".join(found_sentences)
-            
-            # ساخت پرامپت اصلی برای تولید پاسخ نهایی حرفه‌ای
+
             prompt = f"""
             تعدادی پاسخ برای سوال زیر تولید شده است. لطفاً ابتدا این پاسخ‌ها را بررسی کن، سپس با در نظر گرفتن محتوای سوال و لحن آن، یک پاسخ نهایی حرفه‌ای، دقیق و روان از داخل پاسخ‌ها ارائه کن که هم به سوال پاسخ دهد و هم از نظر نگارشی و ساختاری در سطح بالایی باشد. پاسخ نهایی باید حداکثر 2048 کاراکتر و حداقل 512 باشد، خلاصه و واضح نوشته شود و فقط به زبان فارسی باشد. از تکرار اضافی پرهیز کن و فقط از پاسخ‌های زیر استفاده کن. در صورت نیاز، محتوای چند پاسخ را با هم ترکیب کن.
-            
+
             سوال:
             {query}
-            
+
             پاسخ‌ها:
             {matched_text}
-            
+
             پاسخ نهایی حرفه‌ای بازنویسی‌شده:
             """
-            
-            response = llm([  # این خط باید تابع یا مدل مورد نظر شما باشد
+
+            response = llm([
                 SystemMessage(content="You are a helpful assistant."),
                 HumanMessage(content=prompt)
             ])
             rewritten = response.content.strip()
 
-            # بررسی کیفیت پاسخ با یک پرامپت ارزیابی
             review_prompt = f"""
             لطفاً بررسی کن که آیا پاسخ زیر به سوال داده‌شده مرتبط، دقیق و معتبر است یا خیر. اگر پاسخ قابل قبول و دقیق است بنویس 'تأیید شد'. اگر متوسط است بنویس 'کمی خوب'. اگر بی‌ربط یا اشتباه است بنویس 'نیاز به اصلاح دارد'.
             سوال:
@@ -603,13 +606,12 @@ if query:
             {rewritten}
             """
 
-            review_response = llm([  # این خط باید تابع یا مدل مورد نظر شما باشد
+            review_response = llm([
                 SystemMessage(content="You are a helpful assistant."),
                 HumanMessage(content=review_prompt)
             ])
             review_result = review_response.content.strip()
 
-            # تحلیل نتیجه بررسی و نمایش پاسخ مناسب
             if "تأیید شد" in review_result:
                 rewritten = clean_text(rewritten)
                 st.markdown(f'<div class="chat-message">{rewritten}</div>', unsafe_allow_html=True)
@@ -623,7 +625,7 @@ if query:
                 {rewritten}
                 پاسخ نهایی:
                 """
-                new_response = llm([  # این خط باید تابع یا مدل مورد نظر شما باشد
+                new_response = llm([
                     SystemMessage(content="You are a helpful assistant."),
                     HumanMessage(content=final_prompt)
                 ])
@@ -636,7 +638,7 @@ if query:
                 سوال:
                 {query}
                 """
-                fallback_response = llm([  # این خط باید تابع یا مدل مورد نظر شما باشد
+                fallback_response = llm([
                     SystemMessage(content="You are a helpful assistant."),
                     HumanMessage(content=fallback_prompt)
                 ])
@@ -644,13 +646,12 @@ if query:
                 st.markdown(f'<div class="chat-message">{final_fallback}</div>', unsafe_allow_html=True)
 
         else:
-            # اگر هیچ جمله‌ای که کلمات کلیدی داشته باشد پیدا نشد
             prompt = f"""
             لطفاً برای سوال زیر یک متن مرتبط و معتبر تولید کن. اگر اطلاعات کافی وجود ندارد، صادقانه اعلام کن. فقط به زبان فارسی پاسخ بده:
             سوال:
             {query}
             """
-            response = llm([  # این خط باید تابع یا مدل مورد نظر شما باشد
+            response = llm([
                 SystemMessage(content="You are a helpful assistant."),
                 HumanMessage(content=prompt)
             ])