Update app.py

app.py

@@ -539,39 +539,29 @@ st.markdown("""
 
 
 
-import nltk
-from nltk.corpus import stopwords
-from nltk.tokenize import word_tokenize
 import string
+from fuzzywuzzy import fuzz
+from hazm import word_tokenize, stopwords
+import streamlit as st
 
-
-# تابع برای استخراج کلمات کلیدی از سوال
 def extract_keywords(query):
-    # حذف علامت‌های نگارشی از جمله
-    query = query.translate(str.maketrans('', '', string.punctuation))
-    
-    # اگر برای اولین بار از nltk استفاده می‌کنید، باید این‌ها را دانلود کن
     words = word_tokenize(query)
     
-    # حذف کلمات بی‌محتوا (Stopwords)
-    stop_words = set(stopwords.words('persian'))  # برای زبان فارسی، stopwords مربوطه باید تنظیم شود
-    keywords = [word for word in words if word not in stop_words]
+    stop_words = set(stopwords.list())
+    
+    keywords = [word for word in words if word not in stop_words and word.isalpha()]
     
     return keywords
 
-# حالا کد شما به شکل زیر تغییر می‌کند:
+def clean_text(text):
+    return text.strip()
 
 if query:
     threshold = 60
     matched_sentences = []
-    import nltk
-    nltk.download('punkt')
-    nltk.download('stopwords')
 
-    # استخراج کلمات کلیدی از سوال
     keywords = extract_keywords(query)
     
-    # پیدا کردن جملات مشابه
     for idx, sentence in enumerate(all_sentences):
         similarity = fuzz.partial_ratio(query, sentence)
         if similarity >= threshold:
@@ -580,13 +570,11 @@ if query:
     if matched_sentences:
         found_sentences = []
 
-        # برای هر جمله در matched_sentences بررسی می‌کنیم که آیا کلمات کلیدی در آن وجود دارد یا نه
         for sentence in matched_sentences:
             if any(keyword in sentence for keyword in keywords):
                 found_sentences.append(sentence)
 
         if found_sentences:
-            # ایجاد متن نهایی از جملات مرتبط
             matched_text = "\n".join(found_sentences)
             
             # ساخت پرامپت اصلی برای تولید پاسخ نهایی حرفه‌ای
@@ -602,7 +590,7 @@ if query:
             پاسخ نهایی حرفه‌ای بازنویسی‌شده:
             """
             
-            response = llm([
+            response = llm([  # این خط باید تابع یا مدل مورد نظر شما باشد
                 SystemMessage(content="You are a helpful assistant."),
                 HumanMessage(content=prompt)
             ])
@@ -617,7 +605,7 @@ if query:
             {rewritten}
             """
 
-            review_response = llm([
+            review_response = llm([  # این خط باید تابع یا مدل مورد نظر شما باشد
                 SystemMessage(content="You are a helpful assistant."),
                 HumanMessage(content=review_prompt)
             ])
@@ -637,7 +625,7 @@ if query:
                 {rewritten}
                 پاسخ نهایی:
                 """
-                new_response = llm([
+                new_response = llm([  # این خط باید تابع یا مدل مورد نظر شما باشد
                     SystemMessage(content="You are a helpful assistant."),
                     HumanMessage(content=final_prompt)
                 ])
@@ -650,7 +638,7 @@ if query:
                 سوال:
                 {query}
                 """
-                fallback_response = llm([
+                fallback_response = llm([  # این خط باید تابع یا مدل مورد نظر شما باشد
                     SystemMessage(content="You are a helpful assistant."),
                     HumanMessage(content=fallback_prompt)
                 ])
@@ -664,11 +652,10 @@ if query:
             سوال:
             {query}
             """
-            response = llm([
+            response = llm([  # این خط باید تابع یا مدل مورد نظر شما باشد
                 SystemMessage(content="You are a helpful assistant."),
                 HumanMessage(content=prompt)
             ])
             rewritten = clean_text(response.content.strip())
             st.markdown(f'<div class="chat-message">{rewritten}</div>', unsafe_allow_html=True)
             think.empty()
-