Update fine_tune_inference_test.py

fine_tune_inference_test.py

@@ -73,4 +73,90 @@ def chat(msg: Message):
 
         full_prompt = ""
         for turn in chat_history:
-            full_prompt += f"Kullanıcı: {turn['user']}\nAsistan: {turn['bot]()_
+            full_prompt += f"Kullanıcı: {turn['user']}\nAsistan: {turn['bot']}\n"
+        full_prompt += f"Kullanıcı: {user_input}\nAsistan:"
+
+        result = pipe(full_prompt, max_new_tokens=200, do_sample=True, temperature=0.7)
+        answer = result[0]["generated_text"][len(full_prompt):].strip()
+        chat_history.append({"user": user_input, "bot": answer})
+        log(f"🗨️ Soru: {user_input} → Yanıt: {answer[:60]}...")
+        return {"answer": answer, "chat_history": chat_history}
+    except Exception as e:
+        log(f"❌ /chat sırasında hata oluştu: {e}")
+        return {"error": str(e)}
+
+def setup_model():
+    try:
+        global pipe
+
+        log("📦 Fine-tune zip indiriliyor...")
+        zip_path = hf_hub_download(
+            repo_id=FINE_TUNE_REPO,
+            filename=FINE_TUNE_ZIP,
+            repo_type="model",
+            token=HF_TOKEN
+        )
+
+        extract_dir = "/app/extracted"
+        os.makedirs(extract_dir, exist_ok=True)
+
+        with zipfile.ZipFile(zip_path, "r") as zip_ref:
+            zip_ref.extractall(extract_dir)
+        log("📂 Zip başarıyla açıldı.")
+
+        log("🔁 Tokenizer yükleniyor...")
+        tokenizer = AutoTokenizer.from_pretrained(os.path.join(extract_dir, "output"))
+
+        log("🧠 Base model indiriliyor...")
+        base_model = AutoModelForCausalLM.from_pretrained(
+            MODEL_BASE,
+            torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32
+        )
+
+        log("➕ LoRA adapter uygulanıyor...")
+        model = PeftModel.from_pretrained(base_model, os.path.join(extract_dir, "output"))
+
+        log("📚 RAG dataseti yükleniyor...")
+        rag = load_dataset(
+            RAG_DATA_REPO,
+            data_files=RAG_DATA_FILE,
+            split="train",
+            token=HF_TOKEN
+        )
+        log(f"🔍 RAG boyutu: {len(rag)}")
+
+        log("🚀 Pipeline oluşturuluyor...")
+        pipe = pipeline(
+            "text-generation",
+            model=model,
+            tokenizer=tokenizer,
+            torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
+            device=0 if torch.cuda.is_available() else -1
+        )
+        log("✅ Model ve pipeline başarıyla yüklendi.")
+    except Exception as e:
+        log(f"❌ setup_model() sırasında hata oluştu: {e}")
+
+# ✅ Sağlık kontrolü (Hugging Face runtime için şart)
+@app.get("/health")
+def health():
+    return {"status": "ok"}
+
+def run_health_server():
+    try:
+        log("🩺 Health check endpoint başlatılıyor...")
+        uvicorn.run(app, host="0.0.0.0", port=7860)
+    except Exception as e:
+        log(f"❌ Health server başlatılamadı: {e}")
+
+# ✅ Uygulama başlangıcı
+threading.Thread(target=setup_model, daemon=True).start()
+
+# 🧘 Eğitim sonrası uygulama restart olmasın diye bekleme
+log("⌛ Model yükleniyor, istekler için hazır olunacak...")
+while True:
+    try:
+        import time
+        time.sleep(60)
+    except Exception as e:
+        log(f"❌ Ana bekleme döngüsünde hata: {e}")