Update fine_tune_inference_test.py

fine_tune_inference_test.py

@@ -4,13 +4,14 @@ import uvicorn
 from fastapi import FastAPI
 from fastapi.responses import HTMLResponse, JSONResponse
 from pydantic import BaseModel
-from transformers import AutoTokenizer, AutoModelForCausalLM, TextGenerationPipeline
+from transformers import AutoTokenizer, AutoModelForCausalLM
 from datasets import load_dataset
 from peft import PeftModel
 import torch
 from huggingface_hub import hf_hub_download
 import zipfile
 from datetime import datetime
+import random
 
 # ✅ Zamanlı log fonksiyonu (flush destekli)
 def log(message):
@@ -26,10 +27,17 @@ FINE_TUNE_REPO = "UcsTurkey/trained-zips"
 RAG_DATA_FILE = "merged_dataset_000_100.parquet"
 RAG_DATA_REPO = "UcsTurkey/turkish-general-culture-tokenized"
 USE_RAG = False  # ✅ RAG kullanımını opsiyonel hale getiren sabit
+CONFIDENCE_THRESHOLD = -1.5  # ✅ Logit skorlarına göre eşik değeri
+FALLBACK_ANSWERS = [
+    "Bu konuda maalesef bilgim yok.",
+    "Ne demek istediğinizi tam anlayamadım.",
+    "Bu soruya şu an yanıt veremiyorum."
+]
 
 app = FastAPI()
 chat_history = []
-pipe = None  # global text-generation pipeline
+model = None
+tokenizer = None
 
 class Message(BaseModel):
     user_input: str
@@ -68,8 +76,8 @@ def root():
 def chat(msg: Message):
     try:
         log(f"📦 Kullanıcı mesajı alındı: {msg}")
-        global pipe
-        if pipe is None:
+        global model, tokenizer
+        if model is None or tokenizer is None:
             log("🚫 Hata: Model henüz yüklenmedi.")
             return {"error": "Model yüklenmedi. Lütfen birkaç saniye sonra tekrar deneyin."}
 
@@ -77,13 +85,36 @@ def chat(msg: Message):
         if not user_input:
             return {"error": "Boş giriş"}
 
-        # ✅ Eğitimdeki formatla uyumlu prompt
         full_prompt = f"SORU: {user_input}\nCEVAP:"
         log(f"📨 Prompt: {full_prompt}")
 
-        log("📦 Cevap hazırlanıyor...")
-        result = pipe(full_prompt, max_new_tokens=200, do_sample=True, temperature=0.7)
-        answer = result[0]["generated_text"][len(full_prompt):].strip()
+        inputs = tokenizer(full_prompt, return_tensors="pt")
+        inputs = {k: v.to(model.device) for k, v in inputs.items()}
+
+        with torch.no_grad():
+            output = model.generate(
+                **inputs,
+                max_new_tokens=200,
+                do_sample=True,
+                temperature=0.7,
+                return_dict_in_generate=True,
+                output_scores=True
+            )
+
+        generated_ids = output.sequences[0]
+        generated_text = tokenizer.decode(generated_ids, skip_special_tokens=True)
+        answer = generated_text[len(full_prompt):].strip()
+
+        if output.scores and len(output.scores) > 0:
+            first_token_logit = output.scores[0][0]  # ilk tokenin logits
+            top_logit_score = torch.max(first_token_logit).item()
+            log(f"🔎 İlk token logit skoru: {top_logit_score:.4f}")
+
+            if top_logit_score < CONFIDENCE_THRESHOLD:
+                fallback = random.choice(FALLBACK_ANSWERS)
+                log(f"⚠️ Düşük güven: fallback cevabı gönderiliyor: {fallback}")
+                answer = fallback
+
         chat_history.append({"user": user_input, "bot": answer})
         log(f"🗨️ Soru: {user_input} → Yanıt: {answer[:60]}...")
         return {"answer": answer, "chat_history": chat_history}
@@ -93,7 +124,7 @@ def chat(msg: Message):
 
 def setup_model():
     try:
-        global pipe
+        global model, tokenizer
 
         log("📦 Fine-tune zip indiriliyor...")
         zip_path = hf_hub_download(
@@ -122,25 +153,10 @@ def setup_model():
         log("➕ LoRA adapter uygulanıyor...")
         peft_model = PeftModel.from_pretrained(base_model, os.path.join(extract_dir, "output"))
 
-        if USE_RAG:
-            log("📚 RAG dataseti yükleniyor...")
-            rag = load_dataset(
-                RAG_DATA_REPO,
-                data_files=RAG_DATA_FILE,
-                split="train",
-                token=HF_TOKEN
-            )
-            log(f"🔍 RAG boyutu: {len(rag)}")
-
-        log("🚀 Pipeline oluşturuluyor...")
-        pipe = TextGenerationPipeline(
-            model=peft_model.model,
-            tokenizer=tokenizer,
-            torch_dtype=torch.float16 if torch.cuda.is_available() else torch.float32,
-            device=0 if torch.cuda.is_available() else -1
-        )
+        model = peft_model.model
+        model.eval()
 
-        log("✅ Model ve pipeline başarıyla yüklendi.")
+        log("✅ Model başarıyla yüklendi.")
     except Exception as e:
         log(f"❌ setup_model() sırasında hata oluştu: {e}")
 
@@ -158,4 +174,4 @@ while True:
         import time
         time.sleep(60)
     except Exception as e:
-        log(f"❌ Ana bekleme döngüsünde hata: {e}")
+        log(f"❌ Ana bekleme döngüsünde hata: {e}")