|
|
import streamlit as st |
|
|
from hazm import Normalizer, SentenceTokenizer |
|
|
import os |
|
|
import docx |
|
|
from langchain.chat_models import ChatOpenAI |
|
|
from langchain.schema import SystemMessage, HumanMessage |
|
|
from rapidfuzz import fuzz |
|
|
import concurrent.futures |
|
|
import time |
|
|
|
|
|
import numpy as np |
|
|
from hazm import * |
|
|
import re |
|
|
import nltk |
|
|
nltk.download('punkt') |
|
|
|
|
|
st.markdown(""" |
|
|
<style> |
|
|
/* استایل برای هدر */ |
|
|
.stAppHeader.st-emotion-cache-12fmjuu.e4hpqof0 { |
|
|
background-color: rgba(46,59,46, 0.8) !important; /* سبز متمایل به خاکی */ |
|
|
color: #2e3b2e !important; /* رنگ متن روشن */ |
|
|
font-family: 'Vazirmatn', Tahoma, sans-serif !important; |
|
|
padding: 20px !important; /* فضای داخلی بیشتر */ |
|
|
border-radius: 10px !important; /* گوشه‌های گرد */ |
|
|
box-shadow: 0 4px 8px rgba(0, 0, 0, 0.3) !important; /* سایه برای برجسته شدن */ |
|
|
} |
|
|
</style> |
|
|
""", unsafe_allow_html=True) |
|
|
st.markdown(""" |
|
|
<style> |
|
|
/* بارگذاری فونت Roboto */ |
|
|
@font-face { |
|
|
font-family: 'Roboto'; |
|
|
src: url('https://fonts.googleapis.com/css2?family=Roboto:wght@400;500;700&display=swap') format('woff2'); |
|
|
font-weight: 400; |
|
|
font-style: normal; |
|
|
} |
|
|
/* تنظیم فونت برای کل سایت */ |
|
|
html, body, [class*="css"] { |
|
|
font-family: 'Roboto', Tahoma, sans-serif !important; |
|
|
font-weight: 400 !important; |
|
|
direction: rtl; |
|
|
text-align: right; |
|
|
ظ color: #ffffff; |
|
|
} |
|
|
/* طراحی برای بخش استایل اپ */ |
|
|
.stApp { |
|
|
background: linear-gradient(to left, #4b5e40, #2e3b2e); |
|
|
color: #ffffff; |
|
|
} |
|
|
/* استایل برای سایدبار */ |
|
|
[data-testid="stSidebar"] { |
|
|
width: 260px !important; |
|
|
background-color: #1a2b1e; |
|
|
border: none !important; |
|
|
padding-top: 20px; |
|
|
} |
|
|
/* استایل برای آیتم‌های منو */ |
|
|
.menu-item { |
|
|
display: flex; |
|
|
align-items: center; |
|
|
gap: 12px; |
|
|
padding: 12px 20px; |
|
|
font-size: 16px; |
|
|
font-weight: 600; |
|
|
color: #d4d4d4; |
|
|
cursor: pointer; |
|
|
transition: background-color 0.3s ease; |
|
|
} |
|
|
/* استایل برای آیتم‌های منو هنگام هاور */ |
|
|
.menu-item:hover { |
|
|
background-color: #2e3b2e; |
|
|
color: #b8860b; |
|
|
} |
|
|
/* استایل برای آیکون‌ها در منو */ |
|
|
.menu-item img { |
|
|
width: 25px; |
|
|
height: 25px; |
|
|
} |
|
|
/* استایل برای دکمه‌ها */ |
|
|
.stButton>button { |
|
|
background-color: #b8860b !important; |
|
|
color: #1a2b1e !important; |
|
|
font-family: 'Roboto', Tahoma, sans-serif; |
|
|
font-weight: 700 !important; |
|
|
border-radius: 10px; |
|
|
padding: 12px 24px; |
|
|
border: none; |
|
|
transition: all 0.3s ease; |
|
|
font-size: 16px; |
|
|
width: 100%; |
|
|
margin: 10px 0; |
|
|
} |
|
|
/* استایل برای دکمه‌ها هنگام هاور */ |
|
|
.stButton>button:hover { |
|
|
background-color: #8b6508 !important; |
|
|
transform: translateY(-2px); |
|
|
box-shadow: 0 4px 8px rgba(0,0,0,0.3); |
|
|
} |
|
|
/* استایل برای متن هدر */ |
|
|
.header-text { |
|
|
text-align: center; |
|
|
margin: 20px 0; |
|
|
background-color: rgba(26, 43, 30, 0.9); |
|
|
padding: 25px; |
|
|
border-radius: 15px; |
|
|
box-shadow: 0 6px 12px rgba(0,0,0,0.4); |
|
|
font-family: 'Roboto', Tahoma, sans-serif; /* اضافه شد */ |
|
|
} |
|
|
/* استایل برای زیرنویس */ |
|
|
.subtitle { |
|
|
font-size: 18px; |
|
|
color: #d4d4d4; |
|
|
font-weight: 600; |
|
|
margin-top: 10px; |
|
|
} |
|
|
/* استایل برای پیام‌های چت */ |
|
|
.chat-message { |
|
|
flex-wrap: wrap; |
|
|
background-color: rgba(26, 43, 30, 0.95); |
|
|
border: 2px solid #b8860b; |
|
|
border-radius: 15px; |
|
|
padding: 20px; |
|
|
margin: 15px 0; |
|
|
box-shadow: 0 6px 12px rgba(0,0,0,0.3); |
|
|
animation: fadeIn 0.6s ease; |
|
|
font-size: 18px; |
|
|
color: #d4d4d4; |
|
|
font-weight: 600; |
|
|
display: flex; |
|
|
flex-wrap: wrap; |
|
|
align-items: center; |
|
|
gap: 15px; |
|
|
} |
|
|
/* انیمیشن برای ورود پیام چت */ |
|
|
@keyframes fadeIn { |
|
|
from { opacity: 0; transform: translateY(10px); } |
|
|
to { opacity: 1; transform: translateY(0); } |
|
|
} |
|
|
/* استایل برای ورودی متن */ |
|
|
.stTextInput>div>input, .stTextArea textarea { |
|
|
background-color: rgba(26, 43, 30, 0.95) !important; |
|
|
border-radius: 10px !important; |
|
|
border: 1px solid #b8860b !important; |
|
|
padding: 12px !important; |
|
|
font-family: 'Roboto', Tahoma; |
|
|
font-weight: 500; |
|
|
font-size: 16px; |
|
|
color: #d4d4d4 !important; |
|
|
} |
|
|
/* استایل برای خط افقی */ |
|
|
hr { |
|
|
border: 1px solid #b8860b; |
|
|
margin: 15px 0; |
|
|
} |
|
|
/* حذف مرز از قسمت سایدبار */ |
|
|
[data-testid="stSidebar"] > div { |
|
|
border: none !important; |
|
|
} |
|
|
</style> |
|
|
""", unsafe_allow_html=True) |
|
|
|
|
|
|
|
|
|
|
|
if "authenticated" not in st.session_state: |
|
|
st.session_state.authenticated = False |
|
|
|
|
|
if not st.session_state.authenticated: |
|
|
st.markdown('<style>.stTextInput > div[data-baseweb="input"] + div, .stTextInput div:has(div[role="alert"]) { display: none !important; }</style>', unsafe_allow_html=True) |
|
|
st.markdown(""" |
|
|
<style> |
|
|
input { |
|
|
background-color: #2e3b2e; |
|
|
color: gold; |
|
|
border: 1px solid gold; |
|
|
border-radius: 10px; |
|
|
padding: 10px; |
|
|
} |
|
|
</style> |
|
|
""", unsafe_allow_html=True) |
|
|
st.markdown(""" |
|
|
<style> |
|
|
/* فونت عمومی */ |
|
|
html, body, [class*="css"] { |
|
|
font-family: 'Vazir', sans-serif; |
|
|
} |
|
|
/* استایل برای برچسب فیلدهای ورودی */ |
|
|
label { |
|
|
font-size: 20px !important; |
|
|
color: #ffffff !important; |
|
|
font-weight: 800 !important; |
|
|
margin-bottom: 10px !important; |
|
|
display: block; |
|
|
} |
|
|
/* استایل برای ورودی‌ها در تمام حالت‌ها */ |
|
|
input[type="text"], |
|
|
input[type="password"], |
|
|
input[type="text"]:focus, |
|
|
input[type="password"]:focus, |
|
|
input[type="text"]:hover, |
|
|
input[type="password"]:hover { |
|
|
background-color: #ffffff !important; |
|
|
color: #000000 !important; |
|
|
font-size: 18px !important; |
|
|
font-family: 'Vazir', sans-serif !important; |
|
|
} |
|
|
/* Placeholder style */ |
|
|
::placeholder { |
|
|
color: #bbbbbb !important; |
|
|
opacity: 0.8 !important; |
|
|
font-size: 16px; |
|
|
} |
|
|
</style> |
|
|
""", unsafe_allow_html=True) |
|
|
|
|
|
username = st.text_input("نام کاربری:", placeholder="شناسه خود را وارد کنید", |
|
|
label_visibility="visible") |
|
|
|
|
|
password = st.text_input("رمز عبور:", placeholder="رمز عبور ", type="password", |
|
|
label_visibility="visible") |
|
|
st.markdown(""" |
|
|
<style> |
|
|
div.stButton > button { |
|
|
background-image: url("https://upload.wikimedia.org/wikipedia/commons/5/59/US_Army_Universal_Camouflage_Pattern.jpg"); |
|
|
background-size: cover; |
|
|
background-repeat: no-repeat; |
|
|
background-position: center; |
|
|
color: #f5deb3; |
|
|
font-family: 'Vazir', sans-serif; |
|
|
font-size: 20px; |
|
|
font-weight: bold; |
|
|
padding: 14px 35px; |
|
|
border: 2px solid #d4af37; |
|
|
border-radius: 14px; |
|
|
box-shadow: 0 0 18px rgba(0,0,0,0.6); |
|
|
transition: all 0.3s ease-in-out; |
|
|
} |
|
|
div.stButton > button:hover { |
|
|
filter: brightness(1.2); |
|
|
box-shadow: 0 0 22px #b8860b; |
|
|
transform: scale(1.03); |
|
|
} |
|
|
div.stButton > button:active { |
|
|
transform: scale(0.97); |
|
|
box-shadow: 0 0 12px #000; |
|
|
} |
|
|
</style> |
|
|
""", unsafe_allow_html=True) |
|
|
|
|
|
if st.button("ورود"): |
|
|
if username == "admin" and password == "123": |
|
|
st.session_state.authenticated = True |
|
|
st.rerun() |
|
|
else: |
|
|
st.markdown(""" |
|
|
<div style="background-color: rgba(241, 196, 15, 0.6); color: #2e3b2e; padding: 10px; border-radius: 10px; border: 2px solid #2e3b2e; margin-top: 20px; text-align: center; backdrop-filter: blur(5px);"> |
|
|
نام کاربری یا رمز عبور اشتباه است. |
|
|
</div> |
|
|
""", unsafe_allow_html=True) |
|
|
st.stop() |
|
|
|
|
|
|
|
|
with st.sidebar: |
|
|
st.image("log.png", use_container_width=True) |
|
|
|
|
|
menu_items = [ |
|
|
("گزارش عملیاتی", "https://cdn-icons-png.flaticon.com/512/3596/3596165.png", "https://m17idd-reporting.hf.space"), |
|
|
("تاریخچه ماموریت‌ها", "https://cdn-icons-png.flaticon.com/512/709/709496.png", None), |
|
|
("تحلیل داده‌های نظامی", "https://cdn-icons-png.flaticon.com/512/1828/1828932.png", "https://m17idd-test.hf.space"), |
|
|
("مدیریت منابع", "https://cdn-icons-png.flaticon.com/512/681/681494.png", None), |
|
|
("دستیار فرماندهی", "https://cdn-icons-png.flaticon.com/512/3601/3601646.png", None), |
|
|
("تنظیمات امنیتی", "https://cdn-icons-png.flaticon.com/512/2099/2099058.png", None), |
|
|
("پشتیبانی فنی", "https://cdn-icons-png.flaticon.com/512/597/597177.png", None), |
|
|
] |
|
|
|
|
|
|
|
|
st.markdown(""" |
|
|
<link href="https://cdn.jsdelivr.net/gh/rastikerdar/[email protected]/dist/font-face.css" rel="stylesheet" type="text/css" /> |
|
|
""", unsafe_allow_html=True) |
|
|
|
|
|
for idx, (text, icon, link) in enumerate(menu_items): |
|
|
content = f""" |
|
|
<div class="menu-item" style="display: flex; align-items: center; margin-bottom: 10px;"> |
|
|
<img src="{icon}" width="20" height="20" style="margin-left: 10px;" /> |
|
|
<span style="color: white; font-family: 'Vazir', sans-serif; font-weight: bold;">{text}</span> |
|
|
</div> |
|
|
""" |
|
|
|
|
|
if link: |
|
|
content = f'<a href="{link}" target="_blank" style="text-decoration: none;">{content}</a>' |
|
|
|
|
|
st.markdown(content, unsafe_allow_html=True) |
|
|
|
|
|
if idx in [1, 3, 5]: |
|
|
st.markdown("<hr style='border-top: 1px solid #555;'/>", unsafe_allow_html=True) |
|
|
|
|
|
st.markdown(""" |
|
|
<style> |
|
|
/* استایل برای متن هدر */ |
|
|
.header-text { |
|
|
text-align: center; |
|
|
margin: 50px 0; |
|
|
background: #2e3b2e; /* سبز زیتونی تیره جدید */ |
|
|
padding: 60px 30px; |
|
|
border-radius: 25px; |
|
|
box-shadow: 0 12px 24px rgba(0, 0, 0, 0.8); /* سایه بیشتر */ |
|
|
animation: slideIn 2s ease-in-out, fadeIn 3s ease-in-out; |
|
|
background-size: cover; |
|
|
background-position: center; |
|
|
position: relative; |
|
|
} |
|
|
/* انیمیشن ورودی */ |
|
|
@keyframes fadeIn { |
|
|
0% { opacity: 0; transform: translateY(30px); } |
|
|
100% { opacity: 1; transform: translateY(0); } |
|
|
} |
|
|
@keyframes slideIn { |
|
|
0% { transform: translateX(-50%); opacity: 0; } |
|
|
100% { transform: translateX(0); opacity: 1; } |
|
|
} |
|
|
/* تغییر فونت برای h1 */ |
|
|
.header-text h1 { |
|
|
font-family: 'Vazir', sans-serif; |
|
|
font-size: 62px; |
|
|
color: #d89b00; /* طلایی تیره‌تر */ |
|
|
margin: 0; |
|
|
font-weight: 900; |
|
|
letter-spacing: 4px; |
|
|
text-shadow: 4px 4px 15px rgba(0, 0, 0, 0.9); /* سایه سیاه بیشتر */ |
|
|
transform: scale(1.08); /* کمی بزرگتر شدن */ |
|
|
animation: glow 2s ease-in-out infinite alternate; |
|
|
} |
|
|
/* تغییر استایل زیرعنوان */ |
|
|
.subtitle { |
|
|
font-family: 'Vazir', sans-serif; |
|
|
font-size: 24px; |
|
|
color: #f8f8f8; |
|
|
font-weight: 700; |
|
|
margin-top: 15px; |
|
|
letter-spacing: 2px; |
|
|
text-shadow: 3px 3px 10px rgba(0,0,0,0.8); /* سایه بیشتر برای زیرعنوان */ |
|
|
animation: fadeInSubtitle 2s ease-in-out; |
|
|
} |
|
|
/* انیمیشن زیرعنوان */ |
|
|
@keyframes fadeInSubtitle { |
|
|
0% { opacity: 0; transform: translateY(20px); } |
|
|
100% { opacity: 1; transform: translateY(0); } |
|
|
} |
|
|
/* استایل برای دکمه‌ها */ |
|
|
.stButton>button { |
|
|
background-color: #e67e22 !important; /* رنگ دکمه تغییر کرده */ |
|
|
color: #4b5320 !important; |
|
|
font-family: 'Vazir', sans-serif; |
|
|
font-weight: 700 !important; |
|
|
border-radius: 20px; |
|
|
padding: 15px 30px; |
|
|
border: none; |
|
|
transition: all 0.3s ease; |
|
|
font-size: 18px; |
|
|
width: 100%; |
|
|
margin: 20px 0; |
|
|
box-shadow: 0 5px 15px rgba(0, 0, 0, 0.5); |
|
|
} |
|
|
.stButton>button:hover { |
|
|
background-color: #f39c12 !important; |
|
|
transform: translateY(-4px); |
|
|
box-shadow: 0 8px 20px rgba(0, 0, 0, 0.6); |
|
|
} |
|
|
/* استایل برای استایل کلی صفحه */ |
|
|
.stApp { |
|
|
background: #2e3b2e; /* سبز زیتونی تیره جدید */ |
|
|
color: white; |
|
|
font-family: 'Vazir', sans-serif; |
|
|
} |
|
|
</style> |
|
|
<div class="header-text"> |
|
|
<h1>رزم‌‌یار‌ارتش</h1> |
|
|
<div class="subtitle">دستیارهوشمندارتش جمهوری اسلامی ایران</div> |
|
|
</div> |
|
|
""", unsafe_allow_html=True) |
|
|
|
|
|
|
|
|
llm = ChatOpenAI( |
|
|
base_url="https://api.together.xyz/v1", |
|
|
api_key='0291f33aee03412a47fa5d8e562e515182dcc5d9aac5a7fb5eefdd1759005979', |
|
|
model="meta-llama/Llama-3.3-70B-Instruct-Turbo-Free", |
|
|
max_tokens=1024 |
|
|
) |
|
|
|
|
|
|
|
|
folder_path = '46' |
|
|
normalizer = Normalizer() |
|
|
sentence_tokenizer = SentenceTokenizer() |
|
|
|
|
|
@st.cache_data(show_spinner="در حال پردازش اسناد... لطفاً صبور باشید.") |
|
|
def load_and_process_documents(path): |
|
|
def process_docx(filename): |
|
|
try: |
|
|
full_path = os.path.join(path, filename) |
|
|
doc = docx.Document(full_path) |
|
|
text = "\n".join([para.text for para in doc.paragraphs]) |
|
|
normalized = normalizer.normalize(text) |
|
|
sentences = normalized |
|
|
return sentences |
|
|
except Exception as e: |
|
|
print(f"Error processing {filename}: {e}") |
|
|
return [] |
|
|
with concurrent.futures.ThreadPoolExecutor() as executor: |
|
|
results = executor.map(process_docx, [f for f in os.listdir(path) if f.endswith(".docx")]) |
|
|
|
|
|
|
|
|
|
|
|
return list(results) |
|
|
|
|
|
|
|
|
all_sentences = load_and_process_documents(folder_path) |
|
|
|
|
|
def clean_text(text): |
|
|
cleaned_text = re.sub(r'[^آ-ی۰-۹0-9،.؟!؛+\-* ]+', '', text) |
|
|
|
|
|
return cleaned_text |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
st.markdown(""" |
|
|
<style> |
|
|
/* استایل برای کلاس خاص st-emotion-cache-128upt6 eht7o1d3 */ |
|
|
.st-emotion-cache-128upt6.eht7o1d3 { |
|
|
background-color: rgba(46,59,46, 0.8) !important; /* سبز تیره (44533f) */ |
|
|
border-radius: 10px !important; /* گوشه‌های گرد */ |
|
|
color: #d4d4d4 !important; /* رنگ متن روشن */ |
|
|
font-family: 'Vazirmatn', Tahoma, sans-serif !important; |
|
|
padding: 15px !important; /* فضای داخلی بیشتر */ |
|
|
box-shadow: 0 4px 8px rgba(0, 0, 0, 0.3) !important; /* سایه برای برجسته شدن */ |
|
|
} |
|
|
</style> |
|
|
""", unsafe_allow_html=True) |
|
|
|
|
|
|
|
|
st.markdown(""" |
|
|
<style> |
|
|
.st-af.st-ah.st-bb.st-ar.st-as.st-ax.st-ay.st-az.st-b0.st-b1.st-b2.st-bc.st-b7 { |
|
|
background-color: #3a5338 !important; |
|
|
color: #d4d4d4 !important; |
|
|
border: 1px solid #c8a200 !important; |
|
|
border-radius: 10px; |
|
|
padding: 15px; |
|
|
} |
|
|
</style> |
|
|
""", unsafe_allow_html=True) |
|
|
|
|
|
st.markdown(""" |
|
|
<style> |
|
|
/* استایل برای کلاس st-emotion-cache-yd4u6l e1togvvn1 */ |
|
|
.st-emotion-cache-yd4u6l.e1togvvn1 { |
|
|
background-color: rgba(106, 127, 83, 0.8) !important; /* سبز خاکی مایل به زرد (#6a7f53) */ |
|
|
border-radius: 10px !important; /* گوشه‌های گرد */ |
|
|
color: #d4d4d4 !important; /* رنگ متن روشن */ |
|
|
font-family: 'Vazirmatn', Tahoma, sans-serif !important; |
|
|
padding: 15px !important; /* فضای داخلی بیشتر */ |
|
|
box-shadow: 0 4px 8px rgba(0, 0, 0, 0.3) !important; /* سایه برای برجسته شدن */ |
|
|
} |
|
|
</style> |
|
|
""", unsafe_allow_html=True) |
|
|
st.markdown(""" |
|
|
<style> |
|
|
/* استایل برای هدر */ |
|
|
.stAppHeader.st-emotion-cache-12fmjuu.e4hpqof0 { |
|
|
background-color: rgba(42, 55, 39, 0.9) !important; /* سبز تیره‌تر */ |
|
|
color: #d4d4d4 !important; /* رنگ متن روشن */ |
|
|
font-family: 'Vazirmatn', Tahoma, sans-serif !important; |
|
|
padding: 20px !important; /* فضای داخلی بیشتر */ |
|
|
border-radius: 10px !important; /* گوشه‌های گرد */ |
|
|
box-shadow: 0 4px 8px rgba(0, 0, 0, 0.3) !important; /* سایه برای برجسته شدن */ |
|
|
} |
|
|
</style> |
|
|
""", unsafe_allow_html=True) |
|
|
|
|
|
st.markdown(""" |
|
|
<style> |
|
|
/* تغییر رنگ متن placeholder به خاکستری */ |
|
|
textarea::placeholder { |
|
|
color: #ffffff !important; /* خاکستری */ |
|
|
opacity: 1 !important; /* برای اینکه مرورگرها بهش بی‌توجه نباشن */ |
|
|
} |
|
|
/* تغییر رنگ متن داخل چت اینپوت به خاکستری */ |
|
|
textarea { |
|
|
color: #ffffff !important; /* خاکستری */ |
|
|
border-radius: 10px !important; |
|
|
padding: 10px !important; |
|
|
} |
|
|
</style> |
|
|
""", unsafe_allow_html=True) |
|
|
query = st.chat_input("چطور می‌تونم کمک کنم؟") |
|
|
|
|
|
|
|
|
if query: |
|
|
st.markdown(f'<div class="chat-message">{query}</div>', unsafe_allow_html=True) |
|
|
|
|
|
think = st.markdown(""" |
|
|
<div class="thinking-message"> |
|
|
<p>در حال فکر کردن...</p> |
|
|
<div class="spinner"></div> |
|
|
</div> |
|
|
""", unsafe_allow_html=True) |
|
|
|
|
|
else: |
|
|
st.markdown("") |
|
|
|
|
|
|
|
|
st.markdown(""" |
|
|
<style> |
|
|
.thinking-message { |
|
|
display: flex; |
|
|
align-items: center; |
|
|
font-size: 18px; |
|
|
color: #ffffff; |
|
|
} |
|
|
.thinking-message p { |
|
|
margin-right: 10px; |
|
|
} |
|
|
.spinner { |
|
|
border: 4px solid #f3f3f3; |
|
|
border-top: 4px solid #4b6d3d; /* رنگ سبز تیره */ |
|
|
border-radius: 50%; |
|
|
width: 20px; |
|
|
height: 20px; |
|
|
animation: spin 2s linear infinite; |
|
|
} |
|
|
@keyframes spin { |
|
|
0% { transform: rotate(0deg); } |
|
|
100% { transform: rotate(360deg); } |
|
|
} |
|
|
</style> |
|
|
""", unsafe_allow_html=True) |
|
|
|
|
|
|
|
|
|
|
|
import os |
|
|
import json |
|
|
from sentence_transformers import SentenceTransformer, util |
|
|
|
|
|
|
|
|
model = SentenceTransformer("nomic-ai/nomic-embed-text-v2-moe", trust_remote_code=True) |
|
|
embeddings_cache_path = "book_embeddings_cache.json" |
|
|
|
|
|
def load_embeddings_from_cache(): |
|
|
"""بارگذاری امبدینگ‌ها از کش (فایل JSON)""" |
|
|
if os.path.exists(embeddings_cache_path): |
|
|
with open(embeddings_cache_path, "r") as file: |
|
|
return json.load(file) |
|
|
return {} |
|
|
|
|
|
def save_embeddings_to_cache(embeddings): |
|
|
"""ذخیره امبدینگ‌ها به کش (فایل JSON)""" |
|
|
with open(embeddings_cache_path, "w") as file: |
|
|
json.dump(embeddings, file) |
|
|
|
|
|
|
|
|
book_embeddings = load_embeddings_from_cache() |
|
|
|
|
|
if query: |
|
|
found = False |
|
|
threshold =0.7 |
|
|
|
|
|
|
|
|
query_embedding = model.encode(query, convert_to_tensor=True) |
|
|
|
|
|
|
|
|
if not book_embeddings: |
|
|
print("Emeddings for the book are not cached. Embedding the book now...") |
|
|
|
|
|
all_sentences_embeddings = model.encode(all_sentences, convert_to_tensor=True) |
|
|
|
|
|
book_embeddings = {idx: embedding.tolist() for idx, embedding in enumerate(all_sentences_embeddings)} |
|
|
save_embeddings_to_cache(book_embeddings) |
|
|
|
|
|
|
|
|
sentence_embeddings = [embedding for embedding in book_embeddings.values()] |
|
|
similarities = util.pytorch_cos_sim(query_embedding, sentence_embeddings)[0] |
|
|
|
|
|
for idx, similarity in enumerate(similarities): |
|
|
if similarity >= threshold: |
|
|
sentence = all_sentences[idx] |
|
|
prompt = f""" |
|
|
تعدادی پاسخ برای سوال زیر تولید شده است. لطفاً ابتدا این پاسخ‌ها را بررسی کن، سپس با در نظر گرفتن محتوای سوال و لحن آن، یک پاسخ نهایی حرفه‌ای، دقیق و روان ارائه کن که هم به سوال پاسخ دهد و هم از نظر نگارشی و ساختاری در سطح بالایی باشد. پاسخ نهایی باید حداکثر 1024 کاراکتر و حداقل 512 باشد، خلاصه و واضح نوشته شود و فقط به زبان فارسی باشد. از تکرار اضافی پرهیز کن و محتوای چند پاسخ را در صورت نیاز با هم ترکیب کن. |
|
|
سوال: |
|
|
{query} |
|
|
پاسخ‌ها: |
|
|
{sentence} |
|
|
پاسخ نهایی حرفه‌ای بازنویسی‌شده: |
|
|
""" |
|
|
response = llm([SystemMessage(content="You are a helpful assistant."), HumanMessage(content=prompt)]) |
|
|
rewritten = response.content.strip() |
|
|
|
|
|
|
|
|
review_prompt = f""" |
|
|
لطفاً بررسی کن که آیا پاسخ زیر، به سوال زیر پاسخ داده است یا خیر یعنی کلمات کلیدی اصلی در سوال در پاسخ هست یا نه. اگر پاسخ به سوال مرتبط، درست و معتبر و حتما معتبر و قابل قبول است، فقط بنویس: 'تأیید شد'. اگر پاسخ اشتباه است یا هیچ ربطی به سوال ندارد و یا معتبر نیست ، فقط بنویس: 'نیاز به اصلاح دارد'. |
|
|
سوال: |
|
|
{query} |
|
|
پاسخ: |
|
|
{rewritten} |
|
|
""" |
|
|
review_response = llm([SystemMessage(content="You are a helpful assistant."), HumanMessage(content=review_prompt)]) |
|
|
review_result = review_response.content.strip() |
|
|
|
|
|
if "تأیید شد" in review_result: |
|
|
rewritten = clean_text(rewritten) |
|
|
st.markdown(f'<div class="chat-message">{rewritten}</div>', unsafe_allow_html=True) |
|
|
|
|
|
else: |
|
|
prompt_to_extract = f""" |
|
|
لطفاً برای سوال زیر پاسخی معتبر و مرتبط تولید کن که در متن کتاب موجود باشد و به سوال پاسخ دهد. اگر در متن کتاب چیزی برای پاسخ به سوال یافت نمی‌شود، از دانش خود برای ایجاد پاسخ استفاده کن. |
|
|
سوال: |
|
|
{query} |
|
|
جملات مشابه از متن کتاب: |
|
|
{sentence} |
|
|
""" |
|
|
new_response = llm([SystemMessage(content="You are a helpful assistant."), HumanMessage(content=prompt_to_extract)]) |
|
|
final_answer = new_response.content.strip() |
|
|
final_answer = clean_text(final_answer) |
|
|
st.markdown(f'<div class="chat-message">{final_answer}</div>', unsafe_allow_html=True) |
|
|
|
|
|
think.empty() |
|
|
found = True |
|
|
break |
|
|
|
|
|
if not found: |
|
|
prompt = f"لطفاً بر اساس سوال زیر یک متن مرتبط و معنادار تولید کن و جملات ساختگی استفاده نکن و از جملات موجود در اسناد و جملات معتبر استفاده کن و از زبانی جز فارسی استفاده نکن:\n\nسوال: {query}" |
|
|
response = llm([SystemMessage(content="You are a helpful assistant."), HumanMessage(content=prompt)]) |
|
|
rewritten = response.content.strip() |
|
|
rewritten = clean_text(rewritten) |
|
|
st.markdown(f'<div class="chat-message">{rewritten}</div>', unsafe_allow_html=True) |
|
|
think.empty() |
|
|
|
