app.py

import streamlit as st
import os
import torch
import numpy as np
from hazm import *
import docx
from transformers import AutoTokenizer, AutoModel
from langchain.llms import OpenAI

# بارگذاری مدل‌ها و توکنایزر
tokenizer = AutoTokenizer.from_pretrained("HooshvareLab/bert-fa-base-uncased")
model = AutoModel.from_pretrained("HooshvareLab/bert-fa-base-uncased")

@st.cache
def get_embedding(text):
    inputs = tokenizer(text, return_tensors="pt", truncation=True, padding=True)
    with torch.no_grad():
        outputs = model(**inputs)
    embeddings = outputs.last_hidden_state.mean(dim=1)
    return embeddings.squeeze().numpy()

# تابع برای محاسبه شباهت
def cosine_similarity(vec1, vec2):
    return np.dot(vec1, vec2) / (np.linalg.norm(vec1) * np.linalg.norm(vec2))

# تعریف مدل LLM برای بازنویسی پاسخ
llm = OpenAI(api_key="your_openai_api_key")

def rewrite_answer_with_llm(answer, user_input):
    prompt = f"پاسخی که باید بازنویسی شود: {answer}\n\nلطفاً این پاسخ را با لحن مشابه به سوال پرسیده شده بازنویسی کن:\n\nسوال: {user_input}"
    response = llm(prompt)
    return response['choices'][0]['text'].strip()

# وارد کردن متن از کاربر
user_input = st.text_input("✅ لطفاً جمله خود را وارد کنید: ")

# بارگذاری متن‌ها و تقسیم به بخش‌ها
folder_path = '46'
texts = []
for filename in os.listdir(folder_path):
    if filename.endswith(".docx"):
        full_path = os.path.join(folder_path, filename)
        doc = docx.Document(full_path)
        file_text = "\n".join([para.text for para in doc.paragraphs])
        if file_text.strip():
            texts.append(file_text)

normalizer = Normalizer()
sentence_tokenizer = SentenceTokenizer()
all_sentences = []
for text in texts:
    normalized = normalizer.normalize(text)
    sentences = sentence_tokenizer.tokenize(normalized)
    all_sentences.extend(sentences)

chunks = []
for i in range(0, len(all_sentences), 5):
    chunk = " ".join(all_sentences[i:i+5])
    if chunk:
        chunks.append(chunk)

# محاسبه شباهت‌ها
if user_input:
    with st.spinner("در حال محاسبه شباهت‌ها..."):
        user_embedding = get_embedding(user_input)
        similarities = [cosine_similarity(user_embedding, get_embedding(chunk)) for chunk in chunks]
        most_similar_index = np.argmax(similarities)
        most_similar_chunk = chunks[most_similar_index]
        
        # بازنویسی پاسخ با مدل LLM
        rewritten_answer = rewrite_answer_with_llm(most_similar_chunk, user_input)
        
        st.subheader("📌 پاسخ بازنویسی‌شده:")
        st.write(rewritten_answer)