Update app.py

app.py

@@ -1,120 +1,134 @@
-# Gerekli kütüphaneleri içe aktar
+# app.py
+
 import gradio as gr
 import torch
-import pypandoc
-from pathlib import Path
-from nougat import NougatModel
-from nougat.utils.device import move_to_device
-import os
-
-# Pandoc'un yolunu belirtmek, özellikle Hugging Face Spaces gibi ortamlarda önemlidir.
-# Genellikle /usr/bin/pandoc altında bulunur. Eğer yoksa pypandoc kendi kendine indirmeyi dener.
-# os.environ.setdefault('PYPANDOC_PANDOC', '/usr/bin/pandoc')
-
-# --- Model Yükleme ---
-# Model, uygulama başladığında yalnızca bir kez yüklenir.
-# Bu, her dönüştürme işleminde modeli tekrar yüklemenin önüne geçer.
-print("Nougat modeli yükleniyor...")
-# Kullanılabilir bir GPU varsa modeli GPU'ya, yoksa CPU'ya taşı
-device = "cuda" if torch.cuda.is_available() else "cpu"
-model = NougatModel.from_pretrained("facebook/nougat-base").to(device)
-model.eval()
-print(f"Model başarıyla '{device}' üzerine yüklendi.")
-
-
-def convert_pdf_to_epub(pdf_file):
-    """
-    Bu fonksiyon bir PDF dosyası alır, Nougat ile Markdown'a çevirir
-    ve Pandoc ile EPUB formatına dönüştürür.
-    """
-    if pdf_file is None:
-        raise gr.Error("Lütfen bir PDF dosyası yükleyin!")
-
-    pdf_path = Path(pdf_file.name)
-    print(f"İşlem başlıyor: {pdf_path.name}")
-
+from transformers import NougatProcessor, VisionEncoderDecoderModel
+from PIL import Image
+import fitz  # PyMuPDF
+from typing import List
+
+# --- Model ve İşlemci Yükleme ---
+# Modelin yalnızca bir kez yüklenmesini sağlamak için global olarak tanımlıyoruz.
+MODEL_ID = "facebook/nougat-base"
+
+try:
+    processor = NougatProcessor.from_pretrained(MODEL_ID)
+    model = VisionEncoderDecoderModel.from_pretrained(MODEL_ID)
+    
+    # Modeli uygun cihaza taşıma (GPU varsa GPU, yoksa CPU)
+    device = "cuda" if torch.cuda.is_available() else "cpu"
+    model.to(device)
+    print(f"Model '{MODEL_ID}' başarıyla yüklendi ve '{device.upper()}' cihazına taşındı.")
+    MODEL_LOADED = True
+except Exception as e:
+    print(f"Model yüklenirken bir hata oluştu: {e}")
+    MODEL_LOADED = False
+    model = None
+    processor = None
+
+# --- Çekirdek İşleme Fonksiyonları ---
+
+def process_single_image(image: Image.Image) -> str:
+    """Tek bir PIL görüntüsünü işler ve Markdown metnini döndürür."""
+    if not MODEL_LOADED or image is None:
+        return "Model yüklenemedi veya geçersiz görüntü."
+        
     try:
-        # --- 1. Adım: PDF'i Nougat ile Markdown'a çevirme ---
-        print("Nougat ile metin ve yapı analizi yapılıyor...")
-        # `model.inference` metodu, PDF dosyasının yolunu alarak işlem yapar.
-        # Bu işlem, PDF'in sayfa sayısına ve karmaşıklığına bağlı olarak zaman alabilir.
-        result = model.inference(image_paths=[pdf_path])
+        # Görüntüyü modelin beklediği formata dönüştürme [1]
+        pixel_values = processor(images=image, return_tensors="pt").pixel_values
         
-        # Nougat çıktısı bir sözlüktür ve 'markdown' anahtarı metni içerir.
-        markdown_content = result['markdown']
+        # Metin üretimi [1]
+        outputs = model.generate(
+            pixel_values.to(device),
+            min_length=1,
+            max_new_tokens=4096,  # Sayfa içeriğine göre ayarlanabilir
+            bad_words_ids=[[processor.tokenizer.unk_token_id]],
+        )
         
-        if not markdown_content.strip():
-            raise gr.Error("PDF'den metin çıkarılamadı. Dosya bozuk veya sadece resim içeriyor olabilir.")
-
-        print("Markdown içeriği başarıyla oluşturuldu.")
-
-        # --- 2. Adım: Markdown'ı Pandoc ile EPUB'a dönüştürme ---
-        print("Pandoc ile EPUB dosyası oluşturuluyor...")
+        # Çıktıyı okunabilir metne dönüştürme ve son işleme
+        sequence = processor.batch_decode(outputs, skip_special_tokens=True)
+        sequence = processor.post_process_generation(sequence, fix_markdown=False)
         
-        # Çıktı dosyasının adını oluştur
-        output_filename = pdf_path.stem + ".epub"
-        # Geçici bir dizine kaydet
-        output_path = Path("/tmp") / output_filename
-
-        # pypandoc kullanarak dönüştürme işlemi
-        # `extra_args` ile EPUB dosyasına başlık gibi metadata ekleyebiliriz.
-        pypandoc.convert_text(
-            source=markdown_content,
-            to='epub',
-            format='markdown',
-            outputfile=str(output_path),
-            extra_args=[f'--metadata=title:{pdf_path.stem}']
-        )
-
-        print(f"EPUB dosyası başarıyla oluşturuldu: {output_path}")
+        return sequence
+    except Exception as e:
+        return f"Görüntü işlenirken bir hata oluştu: {e}"
 
-        # Oluşturulan dosyanın yolunu döndürerek Gradio'nun indirme linki sunmasını sağla
-        return str(output_path)
+def process_pdf_file(pdf_file) -> str:
+    """Yüklenen bir PDF dosyasını işler, her sayfasını dönüştürür ve birleştirir."""
+    if not MODEL_LOADED or pdf_file is None:
+        return "Model yüklenemedi veya PDF dosyası yüklenmedi."
 
+    full_markdown_content =
+    try:
+        doc = fitz.open(stream=pdf_file.read(), filetype="pdf")
+        
+        for page_num in range(len(doc)):
+            page = doc.load_page(page_num)
+            
+            # Sayfayı yüksek çözünürlüklü bir görüntüye dönüştürme
+            pix = page.get_pixmap(dpi=150)
+            image = Image.frombytes("RGB", [pix.width, pix.height], pix.samples).convert("RGB")
+            
+            # Her sayfayı tekil görüntü olarak işleme
+            page_markdown = process_single_image(image)
+            full_markdown_content.append(f"## Sayfa {page_num + 1}\n\n{page_markdown}")
+
+        return "\n\n---\n\n".join(full_markdown_content)
     except Exception as e:
-        print(f"Bir hata oluştu: {e}")
-        # Kullanıcıya anlamlı bir hata mesajı göster
-        raise gr.Error(f"Dönüştürme sırasında bir hata oluştu: {e}")
+        return f"PDF işlenirken bir hata oluştu: {e}"
+    finally:
+        if 'doc' in locals() and doc:
+            doc.close()
 
 
 # --- Gradio Arayüzü ---
-# `gr.Blocks()` ile daha esnek ve özelleştirilebilir bir arayüz oluşturuyoruz.
 with gr.Blocks(theme=gr.themes.Soft()) as demo:
     gr.Markdown(
         """
-        # 📖 PDF'den EPUB'a Dönüştürücü
-        Facebook'un **Nougat** modelini kullanarak akademik makaleler ve diğer PDF dosyalarınızı
-        kolayca okunabilir EPUB formatına dönüştürün.
+        # 📄 Facebook Nougat Belge Dönüştürücü
+        Bu arayüz, Meta AI tarafından geliştirilen **facebook/nougat-base** modelini kullanarak belgelerinizi (PDF veya resim) yapılandırılmış Markdown metnine dönüştürmenizi sağlar.
+        Lütfen bir PDF dosyası veya bir belge sayfası görüntüsü yükleyin.
         """
     )
-    with gr.Row():
-        with gr.Column(scale=1):
-            pdf_input = gr.File(
-                label="PDF Dosyası Yükle",
-                file_types=[".pdf"]
-            )
-            convert_button = gr.Button("Dönüştür", variant="primary")
-        with gr.Column(scale=1):
-            epub_output = gr.File(
-                label="İndirilebilir EPUB Dosyası",
-                interactive=False # Kullanıcının buraya dosya yüklemesini engelle
-            )
 
-    # Butona tıklandığında `convert_pdf_to_epub` fonksiyonunu çalıştır
-    # Girdi olarak `pdf_input` bileşenini, çıktı olarak `epub_output` bileşenini kullan
-    convert_button.click(
-        fn=convert_pdf_to_epub,
-        inputs=pdf_input,
-        outputs=epub_output,
-        api_name="pdf_to_epub" # API üzerinden erişim için bir isim
+    with gr.Tabs():
+        # PDF İşleme Sekmesi
+        with gr.TabItem("PDF Dosyasını İşle"):
+            with gr.Row():
+                pdf_input = gr.File(label="PDF Dosyası Yükle", file_types=[".pdf"])
+            pdf_process_button = gr.Button("PDF'i Dönüştür", variant="primary")
+            pdf_output = gr.Markdown(label="Dönüştürülen Metin (Markdown)")
+
+        # Tek Görüntü İşleme Sekmesi
+        with gr.TabItem("Tek Görüntü İşle"):
+            with gr.Row():
+                image_input = gr.Image(label="Belge Sayfası Görüntüsü Yükle", type="pil")
+            image_process_button = gr.Button("Görüntüyü Dönüştür", variant="primary")
+            image_output = gr.Markdown(label="Dönüştürülen Metin (Markdown)")
+    
+    # Buton tıklama olaylarını ilgili fonksiyonlara bağlama
+    pdf_process_button.click(
+        fn=process_pdf_file,
+        inputs=[pdf_input],
+        outputs=[pdf_output],
+        api_name="process_pdf"
+    )
+    
+    image_process_button.click(
+        fn=process_single_image,
+        inputs=[image_input],
+        outputs=[image_output],
+        api_name="process_image"
     )
     
     gr.Examples(
-        [["ornek_makale.pdf"]],
-        inputs=[pdf_input],
-        label="Örnek Dosyalar (Space'e bir örnek PDF yüklediyseniz buraya ekleyebilirsiniz)"
+        examples=["nougat_paper_example.png"],
+        inputs=image_input,
+        outputs=image_output,
+        fn=process_single_image,
+        cache_examples=True,
+        label="Örnek Görüntü"
     )
 
-# Arayüzü başlat
 if __name__ == "__main__":
-    demo.launch()
+    demo.launch(debug=True)