Update fine_tune_inference_test.py

fine_tune_inference_test.py

@@ -25,6 +25,7 @@ FINE_TUNE_ZIP = "trained_model_000_001.zip"
 FINE_TUNE_REPO = "UcsTurkey/trained-zips"
 RAG_DATA_FILE = "merged_dataset_000_100.parquet"
 RAG_DATA_REPO = "UcsTurkey/turkish-general-culture-tokenized"
+USE_RAG = False  # ✅ RAG kullanımını opsiyonel hale getiren sabit
 
 app = FastAPI()
 chat_history = []
@@ -116,14 +117,15 @@ def setup_model():
         log("➕ LoRA adapter uygulanıyor...")
         model = PeftModel.from_pretrained(base_model, os.path.join(extract_dir, "output"))
 
-        log("📚 RAG dataseti yükleniyor...")
-        rag = load_dataset(
-            RAG_DATA_REPO,
-            data_files=RAG_DATA_FILE,
-            split="train",
-            token=HF_TOKEN
-        )
-        log(f"🔍 RAG boyutu: {len(rag)}")
+        if USE_RAG:
+            log("📚 RAG dataseti yükleniyor...")
+            rag = load_dataset(
+                RAG_DATA_REPO,
+                data_files=RAG_DATA_FILE,
+                split="train",
+                token=HF_TOKEN
+            )
+            log(f"🔍 RAG boyutu: {len(rag)}")
 
         log("🚀 Pipeline oluşturuluyor...")
         pipe = pipeline(
@@ -137,7 +139,7 @@ def setup_model():
     except Exception as e:
         log(f"❌ setup_model() sırasında hata oluştu: {e}")
 
-# ✅ Sağlık kontrolü (Hugging Face runtime için şart)
+# ✅ Sağlık kontrolü
 @app.get("/health")
 def health():
     return {"status": "ok"}
@@ -152,11 +154,10 @@ def run_health_server():
 # ✅ Uygulama başlangıcı
 threading.Thread(target=setup_model, daemon=True).start()
 
-# 🧘 Eğitim sonrası uygulama restart olmasın diye bekleme
 log("⌛ Model yükleniyor, istekler için hazır olunacak...")
 while True:
     try:
         import time
         time.sleep(60)
     except Exception as e:
-        log(f"❌ Ana bekleme döngüsünde hata: {e}")
+        log(f"❌ Ana bekleme döngüsünde hata: {e}")