Update app.py
Browse files
app.py
CHANGED
@@ -539,6 +539,7 @@ def load_and_process_documents(path):
|
|
539 |
|
540 |
doc_texts = load_and_process_documents(folder_path)
|
541 |
|
|
|
542 |
stop_words = [
|
543 |
"است", "و", "با", "که", "در", "از", "برای", "به", "بر", "تا", "این", "آن", "یک", "کدام", "کجا", "هم", "همه",
|
544 |
"یا", "از", "بر", "همچنین", "می", "باید", "شود", "شد", "گفت", "گویا", "داشت", "داشتن", "کنند", "کنیم",
|
@@ -566,7 +567,7 @@ def clean_text(text):
|
|
566 |
return re.sub(r'[^آ-ی۰-۹0-9،.؟!؛+\-* ]+', '', text)
|
567 |
|
568 |
# تابعی برای پیدا کردن نزدیکترین خطوط به سوال
|
569 |
-
def find_closest_lines(query, doc_texts, stop_words, top_n=
|
570 |
# حذف کلمات اضافی از سوال
|
571 |
cleaned_query = remove_stop_words(query, stop_words)
|
572 |
query_words = cleaned_query.split()
|
@@ -583,7 +584,7 @@ def find_closest_lines(query, doc_texts, stop_words, top_n=20, exclude_line=None
|
|
583 |
# مرتب سازی بر اساس شباهت
|
584 |
all_matched_lines.sort(key=lambda x: x[1], reverse=True)
|
585 |
|
586 |
-
# انتخاب
|
587 |
closest_lines = [line for line, _ in all_matched_lines[:top_n]]
|
588 |
|
589 |
# حذف خط خاص از لیست در صورت وجود
|
@@ -594,25 +595,16 @@ def find_closest_lines(query, doc_texts, stop_words, top_n=20, exclude_line=None
|
|
594 |
|
595 |
# حالا این رو در کد اصلی استفاده میکنیم:
|
596 |
if query:
|
597 |
-
#
|
598 |
-
|
599 |
-
query_words = cleaned_query.split()
|
600 |
-
|
601 |
-
all_matched_lines = []
|
602 |
|
603 |
-
|
604 |
-
for filename, text in doc_texts.items():
|
605 |
-
matched_lines = extract_keywords_from_text(text, query_words)
|
606 |
-
all_matched_lines.extend(matched_lines)
|
607 |
-
|
608 |
-
# حالا این لیست را به مدل میدهیم
|
609 |
-
if all_matched_lines:
|
610 |
prompt = f"""
|
611 |
لطفاً با توجه به سؤال زیر و محتوای خطوط مرتبط، یک پاسخ نهایی حرفهای، دقیق و روان تولید کن. فقط از متن خطوط مرتبط استفاده کن. اگر اطلاعات کافی در متن وجود ندارد، صادقانه اعلام کن.
|
612 |
سوال:
|
613 |
{query}
|
614 |
خطوط مرتبط:
|
615 |
-
{
|
616 |
پاسخ نهایی:
|
617 |
"""
|
618 |
|
@@ -626,3 +618,4 @@ if query:
|
|
626 |
|
627 |
else:
|
628 |
st.warning("هیچ خط مرتبطی پیدا نشد.")
|
|
|
|
539 |
|
540 |
doc_texts = load_and_process_documents(folder_path)
|
541 |
|
542 |
+
# لیست کلمات توقف
|
543 |
stop_words = [
|
544 |
"است", "و", "با", "که", "در", "از", "برای", "به", "بر", "تا", "این", "آن", "یک", "کدام", "کجا", "هم", "همه",
|
545 |
"یا", "از", "بر", "همچنین", "می", "باید", "شود", "شد", "گفت", "گویا", "داشت", "داشتن", "کنند", "کنیم",
|
|
|
567 |
return re.sub(r'[^آ-ی۰-۹0-9،.؟!؛+\-* ]+', '', text)
|
568 |
|
569 |
# تابعی برای پیدا کردن نزدیکترین خطوط به سوال
|
570 |
+
def find_closest_lines(query, doc_texts, stop_words, top_n=10, exclude_line=None):
|
571 |
# حذف کلمات اضافی از سوال
|
572 |
cleaned_query = remove_stop_words(query, stop_words)
|
573 |
query_words = cleaned_query.split()
|
|
|
584 |
# مرتب سازی بر اساس شباهت
|
585 |
all_matched_lines.sort(key=lambda x: x[1], reverse=True)
|
586 |
|
587 |
+
# انتخاب ۱۰ خط نزدیکتر
|
588 |
closest_lines = [line for line, _ in all_matched_lines[:top_n]]
|
589 |
|
590 |
# حذف خط خاص از لیست در صورت وجود
|
|
|
595 |
|
596 |
# حالا این رو در کد اصلی استفاده میکنیم:
|
597 |
if query:
|
598 |
+
# پیدا کردن ۱۰ خط نزدیکتر به سوال (و حذف یک خط خاص)
|
599 |
+
closest_lines = find_closest_lines(query, doc_texts, stop_words, top_n=10, exclude_line=None)
|
|
|
|
|
|
|
600 |
|
601 |
+
if closest_lines:
|
|
|
|
|
|
|
|
|
|
|
|
|
602 |
prompt = f"""
|
603 |
لطفاً با توجه به سؤال زیر و محتوای خطوط مرتبط، یک پاسخ نهایی حرفهای، دقیق و روان تولید کن. فقط از متن خطوط مرتبط استفاده کن. اگر اطلاعات کافی در متن وجود ندارد، صادقانه اعلام کن.
|
604 |
سوال:
|
605 |
{query}
|
606 |
خطوط مرتبط:
|
607 |
+
{closest_lines}
|
608 |
پاسخ نهایی:
|
609 |
"""
|
610 |
|
|
|
618 |
|
619 |
else:
|
620 |
st.warning("هیچ خط مرتبطی پیدا نشد.")
|
621 |
+
|