Update app.py

app.py

@@ -35,11 +35,11 @@ async def lifespan(app: FastAPI):
 
         model = AutoModelForCausalLM.from_pretrained(
             model_name,
-            torch_dtype="auto",
-            device_map="auto"
+            device_map="auto",
+            load_in_8bit=True  # ✅ 8-bit quantization
         )
 
-        log("✅ Model ve tokenizer başarıyla hazır.")
+        log("✅ Model ve tokenizer başarıyla hazır (8-bit quantized).")
         yield  # Uygulama burada çalışır
 
     except Exception as e: