Update app.py

app.py

@@ -1,11 +1,7 @@
-# app.py
-
-import json
 import gradio as gr
 from sentence_transformers import SentenceTransformer
-from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
+from transformers import GPT2LMHeadModel, GPT2Tokenizer
 from pinecone import Pinecone
-import os
 
 # ===============================
 # 🌐 اتصال به Pinecone
@@ -22,18 +18,10 @@ index = pc.Index(PINECONE_INDEX_NAME)
 embedding_model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
 
 # ===============================
-# 🧠 بارگذاری مدل google/mt5-small برای بازنویسی
+# 🧠 بارگذاری مدل GPT-2 برای تولید پاسخ
 # ===============================
-hf_token = os.getenv("HF_TOKEN")
-
-tokenizer = AutoTokenizer.from_pretrained(
-    "google/mt5-small", 
-    use_auth_token=hf_token
-)
-mt5_model = AutoModelForSeq2SeqLM.from_pretrained(
-    "google/mt5-small", 
-    use_auth_token=hf_token
-)
+tokenizer = GPT2Tokenizer.from_pretrained("openai-community/gpt2")
+gpt2_model = GPT2LMHeadModel.from_pretrained("openai-community/gpt2")
 
 # ===============================
 # 🔍 بازیابی پاسخ از Pinecone
@@ -48,12 +36,12 @@ def retrieve_answer(query, threshold=0.65, top_k=1):
         return None
 
 # ===============================
-# ✨ بازنویسی پاسخ با MT5
+# ✨ تولید پاسخ با GPT-2
 # ===============================
-def rewrite_with_mt5(answer, question):
+def generate_response_with_gpt2(answer, question):
     prompt = f"پاسخ به سوال: {question} بر اساس اطلاعات: {answer}"
-    input_ids = tokenizer.encode(prompt, return_tensors="pt", truncation=True)
-    output_ids = mt5_model.generate(input_ids, max_new_tokens=60)
+    input_ids = tokenizer.encode(prompt, return_tensors="pt", truncation=True, max_length=512)
+    output_ids = gpt2_model.generate(input_ids, max_length=150, num_return_sequences=1, no_repeat_ngram_size=2, top_p=0.95, temperature=0.7)
     return tokenizer.decode(output_ids[0], skip_special_tokens=True)
 
 # ===============================
@@ -63,7 +51,7 @@ def final_answer(user_question):
     answer = retrieve_answer(user_question)
 
     if answer:
-        return rewrite_with_mt5(answer, user_question)
+        return generate_response_with_gpt2(answer, user_question)
     else:
         # پاسخ عمومی برای سوالات چتی یا ناموجود
         general_prompts = {
@@ -85,7 +73,7 @@ demo = gr.Interface(
     inputs=gr.Textbox(lines=2, label="سؤال شما"),
     outputs=gr.Textbox(label="پاسخ تیام"),
     title="💬 چت‌بات هوشمند تیام",
-    description="سؤالات خود را از آژانس دیجیتال مارکتینگ تیام بپرسید. سیستم از ترکیب جستجوی دقیق و بازنویسی طبیعی استفاده می‌کند."
+    description="سؤالات خود را از آژانس دیجیتال مارکتینگ تیام بپرسید. سیستم از ترکیب جستجوی دقیق و تولید پاسخ طبیعی استفاده می‌کند."
 )
 
 demo.launch()