Update app.py

app.py

@@ -58,12 +58,13 @@ async def generate(request: Request):
     try:
         log("🧩 Input preparation başlatılıyor...")
         prep_start = time.time()
-        input_ids = tokenizer.apply_chat_template(
+        inputs = tokenizer.apply_chat_template(
             messages,
             add_generation_prompt=True,
             return_tensors="pt"
         ).to(model.device)
-        log(f"✅ Input hazırlandı. Süre: {time.time() - prep_start:.2f} sn")
+        attention_mask = torch.ones(inputs.shape, dtype=torch.long, device=model.device)
+        log(f"✅ Input ve attention mask hazırlandı. Süre: {time.time() - prep_start:.2f} sn")
 
         terminators = [
             tokenizer.eos_token_id,
@@ -73,7 +74,8 @@ async def generate(request: Request):
         log("🧠 Generate çağrısı başlatılıyor...")
         gen_start = time.time()
         outputs = model.generate(
-            input_ids,
+            inputs,
+            attention_mask=attention_mask,
             max_new_tokens=256,
             eos_token_id=terminators,
             do_sample=True,
@@ -82,7 +84,7 @@ async def generate(request: Request):
         )
         log(f"✅ Generate tamamlandı. Süre: {time.time() - gen_start:.2f} sn")
 
-        response = outputs[0][input_ids.shape[-1]:]
+        response = outputs[0][inputs.shape[-1]:]
         decoded_output = tokenizer.decode(response, skip_special_tokens=True)
         log("✅ Cevap başarıyla decode edildi.")
         return {"response": decoded_output}