Update inference_test_turkcell_with_intents.py

inference_test_turkcell_with_intents.py

@@ -1,4 +1,3 @@
-# fine_tune_inference_with_intent.py
 import os, torch, threading, uvicorn, time, traceback, zipfile, random, json, shutil, asyncio, re
 from fastapi import FastAPI
 from fastapi.responses import HTMLResponse, JSONResponse
@@ -20,7 +19,8 @@ USE_FINE_TUNE = False
 FINE_TUNE_REPO = "UcsTurkey/trained-zips"
 FINE_TUNE_ZIP = "trained_model_000_009.zip"
 USE_SAMPLING = False
-CONFIDENCE_THRESHOLD = -1.5
+GENERATION_CONFIDENCE_THRESHOLD = -1.5
+INTENT_CONFIDENCE_THRESHOLD = 0.5
 FALLBACK_ANSWERS = [
     "Bu konuda maalesef bilgim yok.",
     "Ne demek istediğinizi tam anlayamadım.",
@@ -75,181 +75,6 @@ def root():
     </body></html>
     """
 
-@app.post("/train_intents", status_code=202)
-def train_intents(train_input: TrainInput):
-    global INTENT_DEFINITIONS
-
-    log("📥 POST /train_intents çağrıldı.")
-    intents = train_input.intents
-    INTENT_DEFINITIONS = {intent["name"]: intent for intent in intents}
-
-    threading.Thread(target=lambda: background_training(intents), daemon=True).start()
-    return {"status": "accepted", "message": "Intent eğitimi arka planda başlatıldı."}
-
-def background_training(intents):
-    try:
-        log("🔧 Intent eğitimi başlatıldı...")
-
-        # 1. Verileri derle
-        log("📌 Intent örnekleri toplanıyor...")
-        texts, labels, label2id = [], [], {}
-        for idx, intent in enumerate(intents):
-            label2id[intent["name"]] = idx
-            for ex in intent["examples"]:
-                texts.append(ex)
-                labels.append(idx)
-        log(f"📌 Toplam örnek sayısı: {len(texts)}")
-
-        # 2. Dataset oluştur
-        log("📦 Dataset oluşturuluyor...")
-        dataset = Dataset.from_dict({"text": texts, "label": labels})
-
-        # 3. Tokenizer ve model yükle
-        log("📥 Tokenizer yükleniyor...")
-        tokenizer = AutoTokenizer.from_pretrained(INTENT_MODEL_ID)
-
-        log("📦 Model konfigürasyonu hazırlanıyor...")
-        config = AutoConfig.from_pretrained(INTENT_MODEL_ID)
-        config.problem_type = "single_label_classification"
-        config.num_labels = len(label2id)
-
-        log("📦 Model yükleniyor...")
-        model = AutoModelForSequenceClassification.from_pretrained(INTENT_MODEL_ID, config=config)
-        log("✅ Tokenizer ve model hazır.")
-
-        # 4. Tokenize işlemi
-        log("🧪 Tokenize işlemi başlatılıyor...")
-        sample = dataset[0]["text"]
-        log(f"📄 Örnek: {sample}")
-        result = tokenizer(sample, truncation=True, padding=True)
-        log(f"✅ Tokenizer sonucu: {result['input_ids'][:5]}")
-
-        log("🔁 Manuel tokenize işlemi başlatılıyor...")
-        tokenized_data = {"input_ids": [], "attention_mask": [], "label": []}
-        for row in dataset:
-            out = tokenizer(row["text"], truncation=True, padding="max_length", max_length=128)
-            tokenized_data["input_ids"].append(out["input_ids"])
-            tokenized_data["attention_mask"].append(out["attention_mask"])
-            tokenized_data["label"].append(row["label"])
-
-        tokenized = Dataset.from_dict(tokenized_data)
-        tokenized.set_format(type="torch", columns=["input_ids", "attention_mask", "label"])
-
-        log(f"📊 Eğitim örnek sayısı (manuel tokenized): {len(tokenized)}")
-        if len(tokenized) == 0:
-            log("❌ Tokenize edilmiş veri boş! Eğitim başlatılamıyor.")
-            return
-
-        # 5. Çıktı klasörü
-        log("📁 Çıktı klasörü hazırlanıyor...")
-        INTENT_OUTPUT_DIR = "/app/intent_train_output"
-        os.makedirs(INTENT_OUTPUT_DIR, exist_ok=True)
-
-        # 6. Eğitim ayarları
-        log("⚙️ Eğitim ayarları yapılandırılıyor...")
-        args = TrainingArguments(
-            INTENT_OUTPUT_DIR,
-            per_device_train_batch_size=4,
-            num_train_epochs=3,
-            logging_steps=10,
-            save_strategy="no",
-            report_to=[]
-        )
-
-        trainer = Trainer(
-            model=model,
-            args=args,
-            train_dataset=tokenized,
-            data_collator=default_data_collator
-        )
-
-        # 7. Eğitim başlatılıyor
-        log("🚀 trainer.train() başlatılıyor...")
-        trainer.train()
-        log("✅ trainer.train() tamamlandı.")
-
-        # 8. Model kaydediliyor
-        log("💾 Model diske kaydediliyor...")
-        if os.path.exists(INTENT_MODEL_PATH):
-            shutil.rmtree(INTENT_MODEL_PATH)
-        model.save_pretrained(INTENT_MODEL_PATH)
-        tokenizer.save_pretrained(INTENT_MODEL_PATH)
-        with open(os.path.join(INTENT_MODEL_PATH, "label2id.json"), "w") as f:
-            json.dump(label2id, f)
-
-        log("✅ Intent eğitimi tamamlandı ve model kaydedildi.")
-
-    except Exception as e:
-        log(f"❌ Intent eğitimi hatası: {e}")
-        traceback.print_exc()
-
-@app.post("/load_intent_model")
-def load_intent_model():
-    global INTENT_MODEL, INTENT_TOKENIZER, LABEL2ID
-    try:
-        INTENT_TOKENIZER = AutoTokenizer.from_pretrained(INTENT_MODEL_PATH)
-        INTENT_MODEL = AutoModelForSequenceClassification.from_pretrained(INTENT_MODEL_PATH)
-        with open(os.path.join(INTENT_MODEL_PATH, "label2id.json")) as f:
-            LABEL2ID = json.load(f)
-        return {"status": "ok", "message": "Intent modeli yüklendi."}
-    except Exception as e:
-        return JSONResponse(content={"error": str(e)}, status_code=500)
-
-async def detect_intent(text):
-    inputs = INTENT_TOKENIZER(text, return_tensors="pt")
-    outputs = INTENT_MODEL(**inputs)
-    pred_id = outputs.logits.argmax().item()
-    id2label = {v: k for k, v in LABEL2ID.items()}
-    return id2label[pred_id]
-
-def extract_parameters(variables_list, user_input):
-    for pattern in variables_list:
-        regex = re.sub(r"(\w+):\{(.+?)\}", r"(?P<\1>.+?)", pattern)
-        match = re.match(regex, user_input)
-        if match:
-            return [{"key": k, "value": v} for k, v in match.groupdict().items()]
-    return []
-
-def execute_intent(intent_name, user_input):
-    if intent_name in INTENT_DEFINITIONS:
-        definition = INTENT_DEFINITIONS[intent_name]
-        variables = extract_parameters(definition.get("variables", []), user_input)
-        log(f"🚀 execute_intent('{intent_name}', {variables})")
-        return {"intent": intent_name, "parameters": variables}
-    return {"intent": intent_name, "parameters": []}
-
-async def generate_response(text):
-    messages = [{"role": "user", "content": text}]
-    encodeds = tokenizer.apply_chat_template(messages, return_tensors="pt", add_generation_prompt=True)
-    eos_token = tokenizer("<|im_end|>", add_special_tokens=False)["input_ids"][0]
-
-    input_ids = encodeds.to(model.device)
-    attention_mask = (input_ids != tokenizer.pad_token_id).long()
-
-    with torch.no_grad():
-        output = model.generate(
-            input_ids=input_ids,
-            attention_mask=attention_mask,
-            max_new_tokens=128,
-            do_sample=USE_SAMPLING,
-            eos_token_id=eos_token,
-            pad_token_id=tokenizer.pad_token_id,
-            return_dict_in_generate=True,
-            output_scores=True
-        )
-
-    try:
-        decoded = tokenizer.decode(output.sequences[0], skip_special_tokens=True).strip()
-        # Kullanıcı mesajlarını ve rolleri çıkar
-        for tag in ["assistant", "<|im_start|>assistant"]:
-            start = decoded.find(tag)
-            if start != -1:
-                return decoded[start + len(tag):].strip()
-        return decoded
-    except Exception as decode_error:
-        log(f"❌ Decode hatası: {decode_error}")
-        return random.choice(FALLBACK_ANSWERS)
-
 @app.post("/chat")
 async def chat(msg: Message):
     user_input = msg.user_input.strip()
@@ -261,53 +86,43 @@ async def chat(msg: Message):
             intent_task = asyncio.create_task(detect_intent(user_input))
             response_task = asyncio.create_task(generate_response(user_input))
             intent = await intent_task
+
+            if intent is None:
+                log("🟡 Intent confidence düşük. Ana modele yönlendiriliyor.")
+                response = await response_task
+                if isinstance(response, dict) and response.get("score", 0) < GENERATION_CONFIDENCE_THRESHOLD:
+                    return {"response": random.choice(FALLBACK_ANSWERS)}
+                return {"response": response if isinstance(response, str) else response.get("text", "")}
+
             if intent in INTENT_DEFINITIONS:
                 result = execute_intent(intent, user_input)
                 return result
             else:
                 response = await response_task
-                return {"response": response}
+                return {"response": response if isinstance(response, str) else response.get("text", "")}
         else:
             response = await generate_response(user_input)
-            return {"response": response}
+            if isinstance(response, dict) and response.get("score", 0) < GENERATION_CONFIDENCE_THRESHOLD:
+                return {"response": random.choice(FALLBACK_ANSWERS)}
+            return {"response": response if isinstance(response, str) else response.get("text", "")}
 
     except Exception as e:
         traceback.print_exc()
         return JSONResponse(content={"error": str(e)}, status_code=500)
 
-def log(message):
-    timestamp = datetime.now().strftime("%H:%M:%S")
-    print(f"[{timestamp}] {message}", flush=True)
-
-def setup_model():
-    global model, tokenizer, eos_token_id
-    try:
-        log("🧠 setup_model() başladı")
-        device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
-
-        # === Ana model
-        log("📥 Tokenizer indiriliyor...")
-        tokenizer = AutoTokenizer.from_pretrained(MODEL_BASE, use_fast=False)
-        log("🧠 Model indiriliyor...")
-        model = AutoModelForCausalLM.from_pretrained(MODEL_BASE, torch_dtype=torch.float32).to(device)
-        tokenizer.pad_token = tokenizer.pad_token or tokenizer.eos_token
-        model.config.pad_token_id = tokenizer.pad_token_id
-        eos_token_id = tokenizer("<|im_end|>", add_special_tokens=False)["input_ids"][0]
-        model.eval()
-        log("✅ Ana model eval() çağrıldı")
-
-        # === Intent BERT modeli önden indiriliyor (ama kullanılmıyor)
-        log(f"📦 Intent modeli indiriliyor: {INTENT_MODEL_ID}")
-        _ = AutoTokenizer.from_pretrained(INTENT_MODEL_ID)
-        _ = AutoModelForSequenceClassification.from_pretrained(INTENT_MODEL_ID)
-        log("✅ Intent modeli indirildi (önbelleğe alındı).")
+async def detect_intent(text):
+    inputs = INTENT_TOKENIZER(text, return_tensors="pt")
+    outputs = INTENT_MODEL(**inputs)
+    logits = outputs.logits
+    probs = torch.nn.functional.softmax(logits, dim=1)
+    pred_id = logits.argmax().item()
+    confidence = probs[0][pred_id].item()
 
-        log("✔️ Model başarıyla yüklendi ve sohbet için hazır.")
-    except Exception as e:
-        log(f"❌ setup_model() hatası: {e}")
-        traceback.print_exc()
+    id2label = {v: k for k, v in LABEL2ID.items()}
+    intent_name = id2label[pred_id]
+    log(f"🔍 Intent tahmini: {intent_name} (confidence: {confidence:.2f})")
 
-threading.Thread(target=setup_model, daemon=True).start()
-threading.Thread(target=lambda: uvicorn.run(app, host="0.0.0.0", port=7860), daemon=True).start()
-while True:
-    time.sleep(60)
+    if confidence < INTENT_CONFIDENCE_THRESHOLD:
+        log(f"⚠️ Düşük confidence ({confidence:.2f}) nedeniyle intent boş döndü.")
+        return None
+    return intent_name