Update fine_tune_inference_test_mistral.py
Browse files
fine_tune_inference_test_mistral.py
CHANGED
@@ -78,7 +78,13 @@ def chat(msg: Message):
|
|
78 |
return {"error": "Boş giriş"}
|
79 |
|
80 |
prompt = f"SORU: {user_input}\nCEVAP:"
|
81 |
-
inputs = tokenizer(prompt, return_tensors="pt")
|
|
|
|
|
|
|
|
|
|
|
|
|
82 |
|
83 |
with torch.no_grad():
|
84 |
output = model.generate(
|
|
|
78 |
return {"error": "Boş giriş"}
|
79 |
|
80 |
prompt = f"SORU: {user_input}\nCEVAP:"
|
81 |
+
inputs = tokenizer(prompt, return_tensors="pt")
|
82 |
+
|
83 |
+
if not inputs or "input_ids" not in inputs:
|
84 |
+
log(f"❌ Tokenizer çıktı geçersiz veya boş: {inputs}")
|
85 |
+
return {"error": "Tokenizer çıktısı geçersiz"}
|
86 |
+
|
87 |
+
inputs = inputs.to(model.device)
|
88 |
|
89 |
with torch.no_grad():
|
90 |
output = model.generate(
|