Update app.py

app.py

@@ -7,6 +7,7 @@ from datetime import datetime
 from fastapi import FastAPI, HTTPException
 from pydantic import BaseModel
 from transformers import AutoTokenizer, AutoModelForCausalLM
+from contextlib import asynccontextmanager
 
 # === Ortam değişkenleri
 os.environ.setdefault("HF_HOME", "/app/.cache")
@@ -17,35 +18,38 @@ def log(message):
     timestamp = datetime.now().strftime("%H:%M:%S")
     print(f"[{timestamp}] {message}", flush=True)
 
-# === FastAPI başlat
-app = FastAPI()
+# === Global model değişkenleri
 tokenizer = None
 model = None
 
-@app.on_event("startup")
-def load_model():
+# === Lifespan tanımı
+@asynccontextmanager
+async def lifespan(app: FastAPI):
     global tokenizer, model
     try:
         model_name = "ytu-ce-cosmos/Turkish-Llama-8b-DPO-v0.1"
         log(f"⬇️ Model yükleme başlatılıyor: {model_name}")
 
         tokenizer = AutoTokenizer.from_pretrained(model_name)
+        tokenizer.pad_token = tokenizer.eos_token
+
         model = AutoModelForCausalLM.from_pretrained(
             model_name,
-            torch_dtype="auto",  # A100 için bf16
+            torch_dtype="auto",
             device_map="auto"
         )
 
-        # Padding için pad_token ayarla (yoksa hata veriyor)
-        tokenizer.pad_token = tokenizer.eos_token
-
         log("✅ Model ve tokenizer başarıyla hazır.")
+        yield  # Uygulama burada çalışır
 
     except Exception as e:
         log(f"❌ Model yükleme hatası: {e}")
         traceback.print_exc()
         raise
 
+# === FastAPI başlat
+app = FastAPI(lifespan=lifespan)
+
 class UserInputRequest(BaseModel):
     user_input: str
     system_prompt: str