ciyidogan commited on
Commit
6e0e022
·
verified ·
1 Parent(s): 07ed05b

Update inference_test_turkcell_with_intents.py

Browse files
inference_test_turkcell_with_intents.py CHANGED
@@ -219,6 +219,8 @@ def setup_model():
219
  try:
220
  log("🧠 setup_model() başladı")
221
  device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
 
 
222
  log("📥 Tokenizer indiriliyor...")
223
  tokenizer = AutoTokenizer.from_pretrained(MODEL_BASE, use_fast=False)
224
  log("🧠 Model indiriliyor...")
@@ -227,9 +229,17 @@ def setup_model():
227
  model.config.pad_token_id = tokenizer.pad_token_id
228
  eos_token_id = tokenizer("<|im_end|>", add_special_tokens=False)["input_ids"][0]
229
  model.eval()
230
- log("✅ Model eval() çağrıldı")
 
 
 
 
 
 
 
231
  log("✔️ Model başarıyla yüklendi ve sohbet için hazır.")
232
  except Exception as e:
 
233
  traceback.print_exc()
234
 
235
  threading.Thread(target=setup_model, daemon=True).start()
 
219
  try:
220
  log("🧠 setup_model() başladı")
221
  device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
222
+
223
+ # === Ana model
224
  log("📥 Tokenizer indiriliyor...")
225
  tokenizer = AutoTokenizer.from_pretrained(MODEL_BASE, use_fast=False)
226
  log("🧠 Model indiriliyor...")
 
229
  model.config.pad_token_id = tokenizer.pad_token_id
230
  eos_token_id = tokenizer("<|im_end|>", add_special_tokens=False)["input_ids"][0]
231
  model.eval()
232
+ log("✅ Ana model eval() çağrıldı")
233
+
234
+ # === Intent BERT modeli önden indiriliyor (ama kullanılmıyor)
235
+ log(f"📦 Intent modeli indiriliyor: {INTENT_MODEL_ID}")
236
+ _ = AutoTokenizer.from_pretrained(INTENT_MODEL_ID)
237
+ _ = AutoModelForSequenceClassification.from_pretrained(INTENT_MODEL_ID)
238
+ log("✅ Intent modeli indirildi (önbelleğe alındı).")
239
+
240
  log("✔️ Model başarıyla yüklendi ve sohbet için hazır.")
241
  except Exception as e:
242
+ log(f"❌ setup_model() hatası: {e}")
243
  traceback.print_exc()
244
 
245
  threading.Thread(target=setup_model, daemon=True).start()