import time
import streamlit as st
from langchain.document_loaders import PyPDFLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.embeddings.base import Embeddings
from langchain.vectorstores import FAISS
from langchain.indexes import VectorstoreIndexCreator
from langchain.chains import RetrievalQA
from langchain.chat_models import ChatOpenAI
from typing import List
from together import Together
import pandas as pd
from langchain.docstore.document import Document
# ----------------- تنظیمات صفحه -----------------
st.set_page_config(page_title="رزم یار ارتش", page_icon="🪖", layout="wide")
# ----------------- استایل سفارشی -----------------
st.markdown("""
""", unsafe_allow_html=True)
# ----------------- بدنه اصلی -----------------
with st.sidebar:
st.image("log.png", width=90)
st.markdown("""
""", unsafe_allow_html=True)
st.markdown("""
""", unsafe_allow_html=True)
# محتوای اصلی
st.markdown("""
""", unsafe_allow_html=True)
st.markdown('👋 سلام! چطور میتونم کمکتون کنم؟
', unsafe_allow_html=True)
# چت اینپوت کاربر
#user_input = st.text_input("پیام خود را وارد کنید...")
#if user_input:
# st.markdown(f'📩 شما: {user_input}
', unsafe_allow_html=True)
# ----------- تعریف کلاس امبدینگ با Together -----------
class TogetherEmbeddings(Embeddings):
def __init__(self, model_name: str, api_key: str):
self.model_name = model_name
self.client = Together(api_key=api_key)
def embed_documents(self, texts: List[str]) -> List[List[float]]:
batch_size = 100
embeddings = []
for i in range(0, len(texts), batch_size):
batch = texts[i:i + batch_size]
response = self.client.embeddings.create(model=self.model_name, input=batch)
embeddings.extend([item.embedding for item in response.data])
return embeddings
def embed_query(self, text: str) -> List[float]:
return self.embed_documents([text])[0]
# ----------- پردازش و ایندکس کردن CSV -----------
@st.cache_resource
def build_vectorstore_from_csv(csv_file_path: str):
df = pd.read_csv(csv_file_path)
texts = df.iloc[:, 0].astype(str).tolist()
texts = [text.strip() for text in texts if text.strip()]
# برش متن‌ها
text_splitter = RecursiveCharacterTextSplitter(
chunk_size=2048,
chunk_overlap=256,
length_function=len,
separators=["\n\n", "\n", " ", ""]
)
split_texts = []
for text in texts:
split_texts.extend(text_splitter.split_text(text))
documents = [Document(page_content=text) for text in split_texts]
embeddings = TogetherEmbeddings(
model_name="togethercomputer/m2-bert-80M-32k-retrieval",
api_key="0291f33aee03412a47fa5d8e562e515182dcc5d9aac5a7fb5eefdd1759005979"
)
vectorstore = FAISS.from_documents(documents, embeddings)
return vectorstore, embeddings
# ----------- بارگذاری مدل زبانی -----------
def load_llm():
return ChatOpenAI(
base_url="https://api.together.xyz/v1",
api_key='0291f33aee03412a47fa5d8e562e515182dcc5d9aac5a7fb5eefdd1759005979',
model="Qwen/Qwen3-235B-A22B-fp8-tput"
)
# ----------- ساخت پرامپت نهایی برای LLM -----------
def build_prompt(context: str, user_question: str) -> str:
return f"""با توجه به اطلاعات زیر، فقط بر اساس آن‌ها به سؤال پاسخ بده. اگر اطلاعات کافی نیست، بگو اطلاعات کافی ندارم.
🔹 اطلاعات:\n{context}\n\n❓ سؤال: {user_question}
"""
# ----------- تمیز کردن خروجی مدل از پاسخ‌های اضافی -----------
def clean_llm_response(response_text: str) -> str:
lines = response_text.split('\n')
filtered = [
line for line in lines
if not line.strip().startswith("<")
and not line.strip().lower().startswith(("think", "note", "#"))
]
return "\n".join(filtered).strip() or "متأسفم، اطلاعات دقیقی در این مورد ندارم."
# ----------- پردازش سوال و بازیابی پاسخ‌ها -----------
def process_user_query(query: str, vectorstore, embedding_model, llm):
# 1. ساخت embedding از سوال
query_embedding = embedding_model.embed_query(query)
# 2. پیدا کردن 3 پاسخ مشابه با cosine similarity
docs = vectorstore.similarity_search_by_vector(query_embedding, k=3)
context = "\n".join([doc.page_content for doc in docs])
# 3. ساخت پرامپت نهایی با استفاده از پاسخ‌های مشابه به عنوان context
final_prompt = build_prompt(context, query)
# 4. ارسال پرامپت به LLM و دریافت پاسخ
response = llm.invoke(final_prompt)
raw_answer = response.content.strip()
# 5. تمیز کردن و نمایش پاسخ نهایی
clean_answer = clean_llm_response(raw_answer)
return clean_answer
# ----------- اجرای Streamlit UI -----------
def run_chat_ui():
st.title("💬 دستیار هوشمند متنی بر اساس فایل CSV")
# بارگذاری ایندکس
csv_file_path = 'output (1).csv'
try:
vectorstore, embedding_model = build_vectorstore_from_csv(csv_file_path)
except Exception as e:
st.error(f"خطا در پردازش فایل: {str(e)}")
st.stop()
llm = load_llm()
if 'messages' not in st.session_state:
st.session_state.messages = []
if 'pending_prompt' not in st.session_state:
st.session_state.pending_prompt = None
# نمایش پیام‌های قبلی
for msg in st.session_state.messages:
with st.chat_message(msg['role']):
st.markdown(f"{msg['content']}", unsafe_allow_html=True)
# گرفتن سوال جدید
user_prompt = st.chat_input("سوال خود را وارد کنید...")
if user_prompt:
st.session_state.messages.append({'role': 'user', 'content': user_prompt})
st.session_state.pending_prompt = user_prompt
st.rerun()
# پردازش سوال
if st.session_state.pending_prompt:
with st.chat_message("ai"):
thinking = st.empty()
thinking.markdown("🤖 در حال فکر کردن...")
try:
# پردازش سوال و دریافت پاسخ نهایی
query = st.session_state.pending_prompt
clean_answer = process_user_query(query, vectorstore, embedding_model, llm)
thinking.empty()
full_response = ""
placeholder = st.empty()
for word in clean_answer.split():
full_response += word + " "
placeholder.markdown(full_response + "▌")
time.sleep(0.03)
placeholder.markdown(full_response)
st.session_state.messages.append({'role': 'ai', 'content': full_response})
st.session_state.pending_prompt = None
except Exception as e:
thinking.empty()
st.error(f"خطا در پردازش مدل: {str(e)}")
# اجرای برنامه
if __name__ == "__main__":
run_chat_ui()
گفتگوی جدید
تاریخچه
مدل‌های هوش مصنوعی
تولید محتوا
دستیار ویژه
ابزار مالی
تنظیمات
پشتیبانی