Update inference_test_turkcell_with_intents.py
Browse files
inference_test_turkcell_with_intents.py
CHANGED
|
@@ -219,6 +219,8 @@ def setup_model():
|
|
| 219 |
try:
|
| 220 |
log("🧠 setup_model() başladı")
|
| 221 |
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
|
|
|
|
|
|
|
| 222 |
log("📥 Tokenizer indiriliyor...")
|
| 223 |
tokenizer = AutoTokenizer.from_pretrained(MODEL_BASE, use_fast=False)
|
| 224 |
log("🧠 Model indiriliyor...")
|
|
@@ -227,9 +229,17 @@ def setup_model():
|
|
| 227 |
model.config.pad_token_id = tokenizer.pad_token_id
|
| 228 |
eos_token_id = tokenizer("<|im_end|>", add_special_tokens=False)["input_ids"][0]
|
| 229 |
model.eval()
|
| 230 |
-
log("✅
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 231 |
log("✔️ Model başarıyla yüklendi ve sohbet için hazır.")
|
| 232 |
except Exception as e:
|
|
|
|
| 233 |
traceback.print_exc()
|
| 234 |
|
| 235 |
threading.Thread(target=setup_model, daemon=True).start()
|
|
|
|
| 219 |
try:
|
| 220 |
log("🧠 setup_model() başladı")
|
| 221 |
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
|
| 222 |
+
|
| 223 |
+
# === Ana model
|
| 224 |
log("📥 Tokenizer indiriliyor...")
|
| 225 |
tokenizer = AutoTokenizer.from_pretrained(MODEL_BASE, use_fast=False)
|
| 226 |
log("🧠 Model indiriliyor...")
|
|
|
|
| 229 |
model.config.pad_token_id = tokenizer.pad_token_id
|
| 230 |
eos_token_id = tokenizer("<|im_end|>", add_special_tokens=False)["input_ids"][0]
|
| 231 |
model.eval()
|
| 232 |
+
log("✅ Ana model eval() çağrıldı")
|
| 233 |
+
|
| 234 |
+
# === Intent BERT modeli önden indiriliyor (ama kullanılmıyor)
|
| 235 |
+
log(f"📦 Intent modeli indiriliyor: {INTENT_MODEL_ID}")
|
| 236 |
+
_ = AutoTokenizer.from_pretrained(INTENT_MODEL_ID)
|
| 237 |
+
_ = AutoModelForSequenceClassification.from_pretrained(INTENT_MODEL_ID)
|
| 238 |
+
log("✅ Intent modeli indirildi (önbelleğe alındı).")
|
| 239 |
+
|
| 240 |
log("✔️ Model başarıyla yüklendi ve sohbet için hazır.")
|
| 241 |
except Exception as e:
|
| 242 |
+
log(f"❌ setup_model() hatası: {e}")
|
| 243 |
traceback.print_exc()
|
| 244 |
|
| 245 |
threading.Thread(target=setup_model, daemon=True).start()
|