Update fine_tune_inference_test.py

fine_tune_inference_test.py

@@ -133,15 +133,13 @@ def chat(msg: Message):
             with torch.no_grad():
                 output = model.generate(
                     **inputs,
-                    max_new_tokens=200,
-                    do_sample=True,
-                    temperature=0.7,
-                    top_k=50,
-                    top_p=0.95,
+                    max_new_tokens=100,
+                    do_sample=False,  # 🔒 sampling kapalı, deterministik çıktı
                     return_dict_in_generate=True,
                     output_scores=True,
                     suppress_tokens=[tokenizer.pad_token_id] if tokenizer.pad_token_id is not None else None
                 )
+
         except Exception as e:
             log("generate() sırasında istisna oluştu, input dump ediliyor...")
             log(f"input_ids: {inputs['input_ids']}")