🔥 Yeni UI entegrasyonu: RAG + geçmiş + özetleme

app.py

@@ -1,2 +1,4 @@
-import ui
-ui.demo.launch()
+from ui import demo
+
+if __name__ == "__main__":
+    demo.launch()

core/rag/rag_engine.py

@@ -0,0 +1,30 @@
+from sentence_transformers import SentenceTransformer
+import faiss
+import numpy as np
+import os
+
+class SimpleRAG:
+    def __init__(self, model_name="sentence-transformers/all-MiniLM-L6-v2"):
+        self.model = SentenceTransformer(model_name)
+        self.index = None
+        self.docs = []
+        self.embeddings = []
+
+    def load_docs(self, folder_path):
+        for file in os.listdir(folder_path):
+            if file.endswith(".txt"):
+                with open(os.path.join(folder_path, file), "r", encoding="utf-8") as f:
+                    text = f.read()
+                    self.docs.append((file, text))
+    
+    def build_index(self):
+        texts = [doc[1] for doc in self.docs]
+        embeddings = self.model.encode(texts, convert_to_numpy=True)
+        self.embeddings = embeddings
+        self.index = faiss.IndexFlatL2(embeddings.shape[1])
+        self.index.add(embeddings)
+
+    def search(self, query, top_k=3):
+        query_embedding = self.model.encode([query], convert_to_numpy=True)
+        distances, indices = self.index.search(query_embedding, top_k)
+        return [(self.docs[i][0], self.docs[i][1]) for i in indices[0]]

docs/tablo.txt

@@ -0,0 +1,6 @@
+Ürün, Satış Miktarı, Fiyat (TL)
+Laptop, 25, 15000
+Telefon, 40, 10000
+Tablet, 15, 7000
+Monitör, 30, 4000
+Kulaklık, 50, 1500

docs/test_data.py

@@ -0,0 +1,10 @@
+TEXT = """
+
+Veri madenciliği, büyük miktarda veriden anlamlı bilgiler elde etmeye yönelik süreçtir. Bu süreçte çeşitli algoritmalar kullanılarak veri içerisindeki gizli kalıplar ve ilişkiler ortaya çıkarılır.
+
+Makine öğrenmesi bu sürecin önemli bir parçasıdır. Gözetimli öğrenme, gözetimsiz öğrenme ve pekiştirmeli öğrenme gibi farklı türleri vardır.
+
+Bir diğer önemli konu ise doğal dil işleme (NLP)’dir. NLP, metin verisi üzerinde çalışarak insan dilini bilgisayarların anlayabileceği biçime çevirir. Örnek uygulamaları arasında metin sınıflandırma, duygu analizi ve özetleme bulunur.
+
+Son olarak, bu tekniklerin birleşimiyle güçlü yapay zeka sistemleri oluşturulabilir. Geliştirilen sistemler; öneri motorları, sohbet botları ve karar destek sistemleri gibi alanlarda yaygın olarak kullanılmaktadır.
+"""

docs/test_data.txt

@@ -0,0 +1,7 @@
+Veri madenciliği, büyük miktarda veriden anlamlı bilgiler elde etmeye yönelik süreçtir. Bu süreçte çeşitli algoritmalar kullanılarak veri içerisindeki gizli kalıplar ve ilişkiler ortaya çıkarılır.
+
+Makine öğrenmesi bu sürecin önemli bir parçasıdır. Gözetimli öğrenme, gözetimsiz öğrenme ve pekiştirmeli öğrenme gibi farklı türleri vardır.
+
+Bir diğer önemli konu ise doğal dil işleme (NLP)’dir. NLP, metin verisi üzerinde çalışarak insan dilini bilgisayarların anlayabileceği biçime çevirir. Örnek uygulamaları arasında metin sınıflandırma, duygu analizi ve özetleme bulunur.
+
+Son olarak, bu tekniklerin birleşimiyle güçlü yapay zeka sistemleri oluşturulabilir. Geliştirilen sistemler; öneri motorları, sohbet botları ve karar destek sistemleri gibi alanlarda yaygın olarak kullanılmaktadır.

main_test.py

@@ -0,0 +1,11 @@
+from rag_engine import SimpleRAG
+
+rag = SimpleRAG()
+rag.load_docs("docs")
+rag.build_index()
+
+query = "FPGA ile yapılan veri gizleme uygulamaları neler?"
+results = rag.search(query)
+
+for fname, content in results:
+    print(f"\n--- {fname} ---\n{content[:300]}...\n")

rag_ui_template.py

@@ -0,0 +1,47 @@
+
+import gradio as gr
+import os
+from rag_engine import SimpleRAG
+from summarizer import generate_answer
+
+def process_uploaded_files(files):
+    docs = []
+    for file in files:
+        with open(file.name, "r", encoding="utf-8") as f:
+            content = f.read()
+            docs.append((os.path.basename(file.name), content))
+    return docs
+
+def answer_with_rag(query, files, user_api_key):
+    if not query or not files:
+        return "⚠️ Soru ya da dosya eksik.", "Hata"
+
+    docs = process_uploaded_files(files)
+    rag = SimpleRAG()
+    rag.docs = docs
+    rag.build_index()
+
+    results = rag.search(query, top_k=3)
+    contexts = [r[1] for r in results]
+    try:
+        answer = generate_answer(query, contexts, model_name="anthropic/claude-3-haiku", api_key=user_api_key)
+        sources = "\n\n---\n".join([f"Kaynak: {r[0]}" for r in results])
+        return answer, sources
+    except Exception as e:
+        return f"Hata: {str(e)}", "Hata"
+
+with gr.Blocks() as demo:
+    gr.Markdown("## VizSum Pro - RAG Demo")
+
+    api_key_input = gr.Textbox(label="OpenRouter API Key", type="password")
+    file_input = gr.File(file_types=[".txt"], file_count="multiple", label="Metin Dosyası Yükle (.txt)")
+    query_input = gr.Textbox(label="Soru", placeholder="Claude'a sor...")
+
+    submit_btn = gr.Button("Yanıtla")
+    answer_output = gr.Textbox(label="Claude Yanıtı", lines=10)
+    source_output = gr.Textbox(label="Kullanılan Kaynaklar", lines=4, visible=True)
+
+    submit_btn.click(fn=answer_with_rag, inputs=[query_input, file_input, api_key_input], outputs=[answer_output, source_output])
+
+if __name__ == "__main__":
+    demo.launch()

requirements.txt

@@ -1,6 +1,10 @@
 gradio
-pytesseract
-python-dotenv
 requests
-PyMuPDF
-Pillow
+faiss-cpu
+sentence-transformers
+python-dotenv
+python-docx
+pytesseract
+pdfminer.six
+pdfplumber
+Pillow

summarizer.py

@@ -1,25 +1,24 @@
 import os
 import requests
 from dotenv import load_dotenv
-from utils import chunk_text_by_tokens  # type: ignore
+from utils import chunk_text_by_tokens
 
 load_dotenv()
-print("KEY IN SUMMARIZER:", os.getenv("OPENROUTER_API_KEY"))  # <<< bunu ekle
 api_key = os.getenv("OPENROUTER_API_KEY")
 
-api_key = os.getenv("OPENROUTER_API_KEY")
 if not api_key or not api_key.strip():
     raise RuntimeError("❌ OPENROUTER_API_KEY bulunamadı. Hugging Face Secrets kısmına eklenmeli.")
 
-def build_prompt(text, mode, lang_mode="Otomatik", is_table=False):
+class SummaryException(Exception):
+    pass
+
+def build_prompt(text, mode, lang_mode="Otomatik", is_table=False, model_name=""):
     lang_instruction = ""
-    if "Çevir" in lang_mode:
-        if "Türkçeye" in lang_mode:
-            lang_instruction = "\n\nSonuç Türkçeye çevrilsin."
-        elif "İngilizceye" in lang_mode:
-            lang_instruction = "\n\nSonuç İngilizceye çevrilsin."
-    elif lang_mode == "Otomatik":
-        lang_instruction = "\n\nMetnin dilini algıla ve uygun dilde özetle."
+
+    if lang_mode == "Türkçeye Çevir":
+        lang_instruction = "\n\nSonuç Türkçeye çevrilsin."
+    elif lang_mode == "İngilizceye Çevir":
+        lang_instruction = "\n\nSonuç İngilizceye çevrilsin."
 
     if is_table:
         instruction = "Aşağıdaki tabloyu analiz et ve teknik bir şekilde özetle."
@@ -43,7 +42,7 @@ Aşağıdaki metni 3 ayrı biçimde özetle:
         instruction = "Bu metinden önemli notlar çıkar."
     elif "Chat" in mode:
         instruction = """
-Aşağıdaki yazışmalıarı veya serbest notları oku ve şunları çıkar:
+Aşağıdaki yazışmaları veya serbest notları oku ve şunları çıkar:
 
 - Ana konuşma başlıkları
 - Varsa karar verilen noktalar 
@@ -63,31 +62,74 @@ def summarize_text(text, mode, model_name="anthropic/claude-3-haiku", lang_mode=
         "Content-Type": "application/json"
     }
 
+    prompt = build_prompt(text, mode, lang_mode, is_table, model_name)
     payload = {
         "model": model_name,
         "messages": [
-            {"role": "user", "content": build_prompt(text, mode, lang_mode, is_table)}
+            {"role": "user", "content": prompt}
         ],
-        "max_tokens": 1000
+        "max_tokens": 500
     }
 
     try:
         response = requests.post(url, headers=headers, json=payload)
         response.raise_for_status()
         result = response.json()
-
         return result['choices'][0]['message']['content'].strip()
     except requests.exceptions.HTTPError as e:
-        return f"❌ HTTP Hatası: {e} | Yanıt: {response.text}"
+        raise SummaryException(f"❌ HTTP Hatası: {e} | Yanıt: {response.text}")
     except Exception as e:
-        return f"❌ Sistemsel Hata: {str(e)}"
+        raise SummaryException(f"❌ Sistemsel Hata: {str(e)}")
 
 def summarize_long_text(text, mode, model_name="anthropic/claude-3-haiku", lang_mode="Otomatik", is_table=False):
-    chunks = chunk_text_by_tokens(text, max_tokens=1300)
+    chunks = chunk_text_by_tokens(text, max_tokens=800)
 
     summaries = []
     for chunk in chunks:
-        summary = summarize_text(chunk, mode, model_name, lang_mode, is_table)
-        summaries.append(summary)
+        try:
+            summary = summarize_text(chunk, mode, model_name, lang_mode, is_table)
+            summaries.append(summary)
+        except SummaryException as e:
+            summaries.append(str(e))
 
     return "\n\n".join(summaries)
+
+def generate_answer(query, source_tuples, chat_history=None, model_name="anthropic/claude-3-haiku"):
+    url = "https://openrouter.ai/api/v1/chat/completions"
+    headers = {
+        "Authorization": f"Bearer {api_key.strip()}",
+        "Content-Type": "application/json"
+    }
+
+    context_block = "\n\n".join([f"({i+1}) {txt}" for i, (_, txt) in enumerate(source_tuples)])
+    
+    history_prompt = ""
+    if chat_history:
+        for q, a in chat_history:
+            history_prompt += f"Q: {q}\nA: {a}\n\n"
+
+    prompt = f"""{history_prompt}
+Aşağıdaki kaynak metinlere dayanarak kullanıcıdan gelen soruyu yanıtla:
+
+{context_block}
+
+Soru: {query}
+Yanıt:"""
+
+    payload = {
+        "model": model_name,
+        "messages": [
+            {"role": "user", "content": prompt.strip()}
+        ],
+        "max_tokens": 1500
+    }
+
+    try:
+        response = requests.post(url, headers=headers, json=payload)
+        response.raise_for_status()
+        result = response.json()
+        return result['choices'][0]['message']['content'].strip()
+    except requests.exceptions.HTTPError as e:
+        raise SummaryException(f"❌ HTTP Hatası: {e} | Yanıt: {response.text}")
+    except Exception as e:
+        raise SummaryException(f"❌ Sistemsel Hata: {str(e)}")

test.py

@@ -0,0 +1,13 @@
+from docs.test_data import TEXT
+from summarizer import summarize_long_text
+
+summary = summarize_long_text(
+    TEXT,
+    mode="Sade",
+    model_name="mistralai/mistral-7b-instruct",
+    lang_mode="Otomatik",
+    is_table=False
+)
+
+print("\n--- AI Özeti ---\n")
+print(summary)

ui.py

@@ -1,136 +1,184 @@
 import gradio as gr
-import tempfile  
+import tempfile
+import os
 from ocr_engine import extract_text_from_image
 from pdf_reader import extract_text_chunks_from_pdf
-from summarizer import summarize_long_text
-from utils import chunk_text_by_tokens 
-
-def process_input(pdf, image, manual_text, mode, model_name, start_page, end_page, lang_mode, is_table):
-    if is_table and model_name != "anthropic/claude-3-haiku":
-        return "Tablo içeriği için yalnızca Claude önerilir.", "", None
-
-    info_block = ""
-    
-    if pdf is not None:
+from summarizer import summarize_long_text, generate_answer
+from utils import chunk_text_by_tokens
+from core.rag.rag_engine import SimpleRAG
+from docx import Document
+
+chat_history = []
+rag_engine = None
+
+def load_uploaded_docs(files):
+    global rag_engine
+    if not files:
+        return "Dosya yüklenmedi."
+    rag_engine = SimpleRAG()
+    docs = []
+
+    for file in files:
+        ext = os.path.splitext(file.name)[-1].lower()
+        try:
+            if ext == ".txt":
+                with open(file.name, "r", encoding="utf-8") as f:
+                    content = f.read()
+            elif ext == ".pdf":
+                chunks = extract_text_chunks_from_pdf(file.name)
+                content = "\n".join(chunks)
+            elif ext == ".docx":
+                doc = Document(file.name)
+                content = "\n".join([p.text for p in doc.paragraphs])
+            elif ext in [".jpg", ".jpeg", ".png"]:
+                content = extract_text_from_image(file.name)
+            else:
+                content = ""
+            if content.strip():
+                docs.append((os.path.basename(file.name), content))
+        except Exception as e:
+            print("Dosya okuma hatası:", e)
+
+    if not docs:
+        return "Dosyalar boş veya okunamadı."
+
+    rag_engine.docs = docs
+    rag_engine.build_index()
+    return f"{len(docs)} dosya başarıyla yüklendi."
+
+def extract_input_text(pdf, image, manual_text, start_page, end_page):
+    if pdf:
         text_chunks = extract_text_chunks_from_pdf(pdf, start=int(start_page), end=int(end_page))
         if any("[ERROR]" in chunk for chunk in text_chunks):
-            return text_chunks[0], "", None
-
+            return text_chunks[0], None, None
         all_text = "\n\n".join(text_chunks)
         chunk_count = len(chunk_text_by_tokens(all_text, max_tokens=1000))
-        info_block = f"""
-    Sayfa Aralığı: {start_page}–{end_page}
-    Model: {model_name}
-    Chunk Sayısı: {chunk_count}
-""".strip()
-
-    elif image is not None:
+        info_block = f"Sayfa Aralığı: {start_page}–{end_page}\nChunk Sayısı: {chunk_count}"
+        return all_text, info_block, "pdf"
+    elif image:
         text = extract_text_from_image(image)
         if "[ERROR]" in text:
-            return text, "", None
-        text_chunks = [text]
-        all_text = text
+            return text, None, None
+        return text, None, "image"
+    elif manual_text.strip():
+        return manual_text, None, "manual"
+    else:
+        return "Lütfen bir giriş türü seçin.", None, None
 
-    elif manual_text.strip() != "":
-        text_chunks = [manual_text]
-        all_text = manual_text
+def process_input(pdf, image, manual_text, mode, model_name, start_page, end_page, lang_mode, is_table):
+    if is_table and model_name != "anthropic/claude-3-haiku":
+        return "Tablo içeriği için yalnızca Claude önerilir.", "", None
 
-    else:
-        return "Lütfen bir giriş türü seçin.", "", None
+    all_text, info_block, input_type = extract_input_text(pdf, image, manual_text, start_page, end_page)
+    if input_type is None:
+        return all_text, "", None
 
     full_summary = summarize_long_text(all_text, mode, model_name, lang_mode, is_table)
-
     if info_block:
-        full_summary = f"{info_block}\n\n{full_summary}"
+        full_summary = f"{info_block}\n\nModel: {model_name}\n\n{full_summary}"
 
     temp_file = tempfile.NamedTemporaryFile(delete=False, suffix=".txt", mode='w', encoding='utf-8')
     temp_file.write(full_summary)
     temp_file.close()
-
     return all_text, full_summary, temp_file.name
 
-
+def format_chat_history():
+    return "\n\n".join([f"Soru: {q}\nYanıt: {a}" for q, a in chat_history])
+
+def toggle_history_display(show):
+    return gr.update(visible=show, value=format_chat_history() if show else "")
+
+def process_rag_query(query):
+    if rag_engine is None:
+        return "Önce metin dosyası yükleyin.", "", ""
+
+    results = rag_engine.search(query, top_k=3)
+    try:
+        answer = generate_answer(query, results, chat_history=chat_history)
+        chat_history.append((query, answer))
+        sources = "\n\n---\n\n".join([f"Kaynak: {fname}" for fname, _ in results])
+        history = format_chat_history()
+    except Exception as e:
+        answer = str(e)
+        sources = "Hata oluştu."
+        history = ""
+    return answer, sources, history
+
+def reset_history():
+    global chat_history
+    chat_history = []
+    return "", "", ""
 
 with gr.Blocks() as demo:
     gr.Markdown("## VizSum")
 
-    with gr.Row():
-        pdf_input = gr.File(label="PDF Yükle", file_types=[".pdf"])
-        image_input = gr.Image(type="filepath", label="Görsel Yükle")
-
-    manual_input = gr.Textbox(lines=5, label="Metni Manuel Gir")
-
-    with gr.Row(visible=False) as page_controls:
-        start_page = gr.Number(label="Başlangıç Sayfası", value=1, minimum=1, precision=0)
-        end_page = gr.Number(label="Bitiş Sayfası", value=5, minimum=1, precision=0)
-
-    def show_page_controls(pdf):
-        return gr.update(visible=True)
-
-    pdf_input.change(
-        fn=show_page_controls,
-        inputs=[pdf_input],
-        outputs=[page_controls]
-    )
-
-
-        
-    def enable_page_inputs(pdf):
-        return gr.update(interactive=True), gr.update(interactive=True)
-
-    pdf_input.change(
-        fn=enable_page_inputs,
-        inputs=[pdf_input],
-        outputs=[start_page, end_page]
-    )
-
-    mode_selector = gr.Dropdown(
-        choices=[
-            "Teknik Özet",
-            "Sade Anlatım",
-            "Eleştir ve Değerlendir",
-            "Başlık Çıkar",
-            "Not Formatı",
-            "Karma Özet",
-            "Chat Özeti (Yazışma/Not)"
-        ],
-        label="Özetleme Modu",
-        value="Teknik Özet"
-    )
-
-    model_selector = gr.Dropdown(
-        choices=[
-            "anthropic/claude-3-haiku",
-            "openai/gpt-3.5-turbo",
-            "mistralai/mistral-7b-instruct"
-        ],
-        label="Dil Modeli",
-        value="anthropic/claude-3-haiku"
-    )
-
-    with gr.Row():
-        submit_btn = gr.Button("Özetle")
-
-    with gr.Row():
-        text_output = gr.Textbox(label="Giriş Metni")
-        summary_output = gr.Textbox(label="AI Özeti", lines=10, show_copy_button=True)
-        summary_file = gr.File(label="Özeti İndir", interactive=True)
-    
-    lang_mode = gr.Radio(
-        choices=["Otomatik", "Sadece Türkçe", "Sadece İngilizce", "Türkçeye Çevir", "İngilizceye Çevir"],
-        label="Dil Algılama / Çeviri Modu",
-        value="Otomatik"
-    )
-    
-    is_table = gr.Checkbox(label="Tablo içeriyor (Claude tablo gibi özetlesin)", value=False)
-
-    submit_btn.click(
-        fn=process_input,
-        inputs=[pdf_input, image_input, manual_input, mode_selector, model_selector, start_page, end_page, lang_mode, is_table],
-        outputs=[text_output, summary_output, summary_file]
-    )
-
-
+    with gr.Tabs():
+        with gr.TabItem("Özetleme"):
+            with gr.Row():
+                pdf_input = gr.File(label="PDF Yükle", file_types=[".pdf"])
+                image_input = gr.Image(type="filepath", label="Görsel Yükle")
+
+            manual_input = gr.Textbox(lines=5, label="Metni Manuel Gir")
+
+            with gr.Row(visible=False) as page_controls:
+                start_page = gr.Number(label="Başlangıç Sayfası", value=1, minimum=1, precision=0)
+                end_page = gr.Number(label="Bitiş Sayfası", value=5, minimum=1, precision=0)
+
+            pdf_input.change(fn=lambda pdf: gr.update(visible=True), inputs=[pdf_input], outputs=[page_controls])
+            pdf_input.change(fn=lambda pdf: (gr.update(interactive=True), gr.update(interactive=True)), inputs=[pdf_input], outputs=[start_page, end_page])
+
+            mode_selector = gr.Dropdown(
+                choices=["Teknik Özet", "Sade Anlatım", "Eleştir ve Değerlendir", "Başlık Çıkar", "Not Formatı", "Karma Özet", "Chat Özeti (Yazışma/Not)"],
+                label="Özetleme Modu",
+                value="Teknik Özet"
+            )
+
+            model_selector = gr.Dropdown(
+                choices=["anthropic/claude-3-haiku", "openai/gpt-3.5-turbo", "mistralai/mistral-7b-instruct"],
+                label="Dil Modeli",
+                value="anthropic/claude-3-haiku"
+            )
+
+            lang_mode = gr.Radio(
+                choices=["Otomatik", "Sadece Türkçe", "Sadece İngilizce", "Türkçeye Çevir", "İngilizceye Çevir"],
+                label="Dil Algılama / Çeviri Modu",
+                value="Otomatik"
+            )
+
+            is_table = gr.Checkbox(label="Tablo içeriyor (Claude tablo gibi özetlesin)", value=False)
+
+            submit_btn = gr.Button("Özetle")
+
+            text_output = gr.Textbox(label="Giriş Metni")
+            summary_output = gr.Textbox(label="AI Özeti", lines=10, show_copy_button=True)
+            summary_file = gr.File(label="Özeti İndir", interactive=False)
+
+            submit_btn.click(
+                fn=process_input,
+                inputs=[pdf_input, image_input, manual_input, mode_selector, model_selector, start_page, end_page, lang_mode, is_table],
+                outputs=[text_output, summary_output, summary_file]
+            )
+
+        with gr.TabItem("Soru-Cevap (RAG)"):
+            doc_upload = gr.File(label="Dosya Yükle (.txt, .pdf, .docx, .jpg, .png)", file_types=[".txt", ".pdf", ".docx", ".jpg", ".png"], file_count="multiple")
+            upload_status = gr.Textbox(label="Yükleme Durumu")
+            doc_upload.change(fn=load_uploaded_docs, inputs=[doc_upload], outputs=[upload_status])
+
+            query_input = gr.Textbox(label="Soru", placeholder="Belgelerden bir şey sor...")
+            answer_output = gr.Textbox(label="Claude Yanıtı", lines=10)
+            source_output = gr.Textbox(label="Kaynaklar", lines=5, visible=False)
+
+            history_toggle = gr.Checkbox(label="Geçmişi Göster", value=False)
+            history_output = gr.Textbox(label="Soru-Cevap Geçmişi", lines=10, visible=False, interactive=False)
+
+            show_sources = gr.Checkbox(label="Kaynakları Göster", value=False)
+            rag_btn = gr.Button("Cevapla")
+            reset_btn = gr.Button("Geçmişi Sıfırla")
+
+            rag_btn.click(fn=process_rag_query, inputs=[query_input], outputs=[answer_output, source_output, history_output])
+            history_toggle.change(fn=toggle_history_display, inputs=[history_toggle], outputs=[history_output])
+            show_sources.change(fn=lambda visible: gr.update(visible=visible), inputs=[show_sources], outputs=[source_output])
+            reset_btn.click(fn=reset_history, inputs=[], outputs=[answer_output, source_output, history_output])
 
 if __name__ == "__main__":
     demo.launch(share=True)