Update app.py

app.py

@@ -29,29 +29,39 @@ st.markdown("""
 """, unsafe_allow_html=True)
 st.markdown("""
     <style>
+    /* بارگذاری فونت Roboto */
     @font-face {
-        font-family: 'Shabnam';
-        src: url('https://cdn.jsdelivr.net/gh/rastikerdar/shabnam-font/dist/Shabnam.woff2') format('woff2'),
-             url('https://cdn.jsdelivr.net/gh/rastikerdar/shabnam-font/dist/Shabnam.woff') format('woff');
+        font-family: 'Roboto';
+        src: url('https://fonts.googleapis.com/css2?family=Roboto:wght@400;500;700&display=swap') format('woff2');
         font-weight: 400;
         font-style: normal;
     }
+
+    /* تنظیم فونت برای کل سایت */
     html, body, [class*="css"] {
-        font-family: 'Shabnam', Tahoma, sans-serif !important;
-        font-weight: 500 !important;
+        font-family: 'Roboto', Tahoma, sans-serif !important;
+        font-weight: 400 !important;
         direction: rtl;
         text-align: right;
+        background-color: #2e3b2e;
+        color: #ffffff;
     }
+
+    /* طراحی برای بخش استایل اپ */
     .stApp {
         background: linear-gradient(to left, #4b5e40, #2e3b2e);
         color: #ffffff;
     }
+
+    /* استایل برای سایدبار */
     [data-testid="stSidebar"] {
         width: 260px !important;
         background-color: #1a2b1e;
         border: none !important;
         padding-top: 20px;
     }
+
+    /* استایل برای آیتم‌های منو */
     .menu-item {
         display: flex;
         align-items: center;
@@ -63,18 +73,24 @@ st.markdown("""
         cursor: pointer;
         transition: background-color 0.3s ease;
     }
+
+    /* استایل برای آیتم‌های منو هنگام هاور */
     .menu-item:hover {
         background-color: #2e3b2e;
         color: #b8860b;
     }
+
+    /* استایل برای آیکون‌ها در منو */
     .menu-item img {
         width: 24px;
         height: 24px;
     }
+
+    /* استایل برای دکمه‌ها */
     .stButton>button {
         background-color: #b8860b !important;
         color: #1a2b1e !important;
-        font-family: 'Shabnam', Tahoma;
+        font-family: 'Roboto', Tahoma, sans-serif;
         font-weight: 700 !important;
         border-radius: 10px;
         padding: 12px 24px;
@@ -84,11 +100,15 @@ st.markdown("""
         width: 100%;
         margin: 10px 0;
     }
+
+    /* استایل برای دکمه‌ها هنگام هاور */
     .stButton>button:hover {
         background-color: #8b6508 !important;
         transform: translateY(-2px);
         box-shadow: 0 4px 8px rgba(0,0,0,0.3);
     }
+
+    /* استایل برای متن هدر */
     .header-text {
         text-align: center;
         margin: 20px 0;
@@ -97,18 +117,25 @@ st.markdown("""
         border-radius: 15px;
         box-shadow: 0 6px 12px rgba(0,0,0,0.4);
     }
+
+    /* استایل برای عنوان هدر */
     .header-text h1 {
         font-size: 42px;
         color: #b8860b;
         margin: 0;
         font-weight: 800;
+        font-family: 'Roboto', Tahoma, sans-serif;
     }
+
+    /* استایل برای زیرنویس */
     .subtitle {
         font-size: 18px;
         color: #d4d4d4;
         font-weight: 600;
         margin-top: 10px;
     }
+
+    /* استایل برای پیام‌های چت */
     .chat-message {
         flex-wrap: wrap;
         background-color: rgba(26, 43, 30, 0.95);
@@ -126,28 +153,37 @@ st.markdown("""
         align-items: center;
         gap: 15px;
     }
+
+    /* انیمیشن برای ورود پیام چت */
     @keyframes fadeIn {
         from { opacity: 0; transform: translateY(10px); }
         to { opacity: 1; transform: translateY(0); }
     }
+
+    /* استایل برای ورودی متن */
     .stTextInput>div>input, .stTextArea textarea {
         background-color: rgba(26, 43, 30, 0.95) !important;
         border-radius: 10px !important;
         border: 1px solid #b8860b !important;
         padding: 12px !important;
-        font-family: 'Shabnam', Tahoma;
+        font-family: 'Roboto', Tahoma;
         font-weight: 500;
         font-size: 16px;
         color: #d4d4d4 !important;
     }
+
+    /* استایل برای خط افقی */
     hr {
         border: 1px solid #b8860b;
         margin: 15px 0;
     }
+
+    /* حذف مرز از قسمت سایدبار */
     [data-testid="stSidebar"] > div {
         border: none !important;
     }
-    </style>
+</style>
+
 """, unsafe_allow_html=True)
 
 
@@ -277,6 +313,11 @@ def load_and_process_documents(path):
 
 all_sentences = load_and_process_documents(folder_path)
 
+def clean_text(text):
+    cleaned_text = re.sub(r'[^آ-ی۰-۹0-9،.؟!؛+\-* ]+', '', text)
+    
+    return cleaned_text
+
 
 # all_sentences = load_and_process_documents(folder_path)
 # st.markdown(all_sentences[2])
@@ -411,24 +452,21 @@ sentEmbedding.load_model("C:/Users/ici/Downloads/sent2vec/sent2vec-naab.model")
 
 
 
-top_k = 5 
-threshold = 0.8 
+#top_k = 5 
+#threshold = 0.8 
 
 original_sentences = all_sentences.copy()
 all_vectors = [sentEmbedding.get_sentence_vector(sentence) for sentence in original_sentences]
 
 if query:
     found = False
-    threshold = 85
+    threshold = 62
 
     for idx, sentence in enumerate(all_sentences):
         similarity = fuzz.partial_ratio(query, sentence)
         if similarity >= threshold:
-            st.markdown(sentence)
-
-            # تولید پاسخ بازنویسی‌شده
             prompt = f"""
-                        تعدادی پاسخ برای سوال زیر تولید شده است. لطفاً ابتدا این پاسخ‌ها را بررسی کن، سپس با در نظر گرفتن محتوای سوال و لحن آن، یک پاسخ نهایی حرفه‌ای، دقیق و روان ارائه کن که هم به سوال پاسخ دهد و هم از نظر نگارشی و ساختاری در سطح بالایی باشد. پاسخ نهایی باید حداکثر ۵۱۲ کاراکتر باشد، خلاصه و واضح نوشته شود و فقط به زبان فارسی باشد. از تکرار اضافی پرهیز کن و محتوای چند پاسخ را در صورت نیاز با هم ترکیب کن.
+                        تعدادی پاسخ برای سوال زیر تولید شده است. لطفاً ابتدا این پاسخ‌ها را بررسی کن، سپس با در نظر گرفتن محتوای سوال و لحن آن، یک پاسخ نهایی حرفه‌ای، دقیق و روان ارائه کن که هم به سوال پاسخ دهد و هم از نظر نگارشی و ساختاری در سطح بالایی باشد. پاسخ نهایی باید حداکثر 1024 کاراکتر و حداقل 512 باشد، خلاصه و واضح نوشته شود و فقط به زبان فارسی باشد. از تکرار اضافی پرهیز کن و محتوای چند پاسخ را در صورت نیاز با هم ترکیب کن.
 
                         سوال:
                         {query}
@@ -446,8 +484,8 @@ if query:
 
             # بررسی مرتبط بودن پاسخ با سؤال
             review_prompt = f"""
-            لطفاً بررسی کن که آیا پاسخ زیر، دقیقاً به سوال زیر پاسخ داده است یا خیر. اگر پاسخ به سوال مرتبط، درست و قابل قبول است، فقط بنویس: 'تأیید شد'.
-            اگر پاسخ اشتباه است یا ربطی به سوال ندارد، فقط بنویس: 'نیاز به اصلاح دارد'.
+            لطفاً بررسی کن که آیا پاسخ زیر، حدودا  به سوال زیر پاسخ داده است یا خیر یعنی  کلمات  کلیدی اصلی در سوال در پاسخ هست یا ن . اگر پاسخ به سوال مرتبط، درست و قابل قبول است، فقط بنویس: 'تأیید شدواگر کمی مربوط بود بنویس: 'کمی خوب''.
+            اگر پاسخ اشتباه است یا هیچ ربطی به سوال ندارد، فقط بنویس: 'نیاز به اصلاح دارد'.
 
             سوال:
             {query}
@@ -460,13 +498,32 @@ if query:
                 HumanMessage(content=review_prompt)
             ])
             review_result = review_response.content.strip()
-
             if "تأیید شد" in review_result:
+                rewritten = clean_text(rewritten)
                 st.markdown(f'<div class="chat-message">{rewritten}</div>', unsafe_allow_html=True)
+            elif "کمی خوب" in review_result:
+                final_prompt = f"""
+                 لطفاً برای سوال زیر پاسخی حرفه‌ای، دقیق و روان تولید کن که مرتبط و معتبر باشد. از زبانی جز فارسی استفاده نکن و بیا هم از سوال هم دیتای زیر و هم از پاسخ  استفاده کن و پاسخ مناسبی بنویس  :
+
+                سوال:
+                {query}
+                پاسخ:
+                {review_result}
+                دیتا:
+                {rewritten}
+
+                """
+                new_1response = llm([
+                    SystemMessage(content="You are a helpful assistant."),
+                    HumanMessage(content=final_prompt)
+                ])
+                final_answer1 = new_1response.content.strip()
+                final_answer1 = clean_text(final_answer1)
+                st.markdown(f'<div class="chat-message">{final_answer1}</div>', unsafe_allow_html=True)
+
             else:
-                # تولید پاسخ جدید توسط مدل بدون استفاده از داده قبلی
                 final_prompt = f"""
-                لطفاً برای سوال زیر پاسخی حرفه‌ای، دقیق و روان تولید کن که مرتبط و معتبر باشد. از زبانی جز فارسی استفاده نکن:
+                لطفاً برای سوال زیر پاسخی حرفه‌ای، دقیق و روان تولید کن که مرتبط و معتبر باشد. ا�� زبانی جز فارسی استفاده نکن :
 
                 سوال:
                 {query}
@@ -476,6 +533,7 @@ if query:
                     HumanMessage(content=final_prompt)
                 ])
                 final_answer = new_response.content.strip()
+                final_answer = clean_text(final_answer)
                 st.markdown(f'<div class="chat-message">{final_answer}</div>', unsafe_allow_html=True)
 
             think.empty()
@@ -489,5 +547,6 @@ if query:
             HumanMessage(content=prompt)
         ])
         rewritten = response.content.strip()
+        rewritten = clean_text(rewritten)
         st.markdown(f'<div class="chat-message">{rewritten}</div>', unsafe_allow_html=True)
         think.empty()