Update app.py

app.py

@@ -4,17 +4,13 @@ import time
 import threading
 import traceback
 from datetime import datetime
-
-import unsloth
 from fastapi import FastAPI, HTTPException
 from pydantic import BaseModel
-from transformers import pipeline
-from unsloth import FastLanguageModel
+from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
 
 # === Ortam değişkenleri
 os.environ.setdefault("HF_HOME", "/app/.cache")
 os.environ.setdefault("HF_HUB_CACHE", "/app/.cache")
-os.environ.setdefault("BITSANDBYTES_NOWELCOME", "1")
 
 # === Zamanlı log fonksiyonu
 def log(message):
@@ -24,67 +20,51 @@ def log(message):
 # === FastAPI başlat
 app = FastAPI()
 pipe = None
-model = None
-tokenizer = None
 
 @app.on_event("startup")
 def load_model():
-    global pipe, model, tokenizer
+    global pipe
     try:
-        model_name = "atasoglu/Turkish-Llama-3-8B-function-calling"
-        log(f"⬇️ [1] Model yükleme başlatılıyor: {model_name}")
-
-        model, tokenizer = FastLanguageModel.from_pretrained(
-            model_name=model_name,
-            load_in_4bit=True,
-            device_map="auto"
+        model_name = "ytu-ce-cosmos/Turkish-Llama-8b-Instruct-v0.1"
+        log(f"⬇️ Model yükleme başlatılıyor: {model_name}")
+
+        tokenizer = AutoTokenizer.from_pretrained(model_name)
+        model = AutoModelForCausalLM.from_pretrained(
+            model_name,
+            device_map="auto",
+            torch_dtype="auto"  # A100 ortamında bf16 otomatik seçer
+            # Eğer istersen load_in_8bit=True parametresini ekleyebiliriz
         )
-        log("✅ [2] Model ve tokenizer çekildi.")
-
-        FastLanguageModel.for_inference(model)
-        log("✅ [3] Model inference moduna alındı.")
 
-        pipe = pipeline(
-            "text-generation",
-            model=model,
-            tokenizer=tokenizer,
-            device_map="auto"
-        )
-        log("✅ [4] Pipeline başarıyla kuruldu, test etmeye hazır.")
+        pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, device_map="auto")
+        log("✅ Model ve pipeline başarıyla hazır.")
 
     except Exception as e:
-        log(f"❌ [ERROR] Model yükleme sırasında hata: {e}")
+        log(f"❌ Model yükleme hatası: {e}")
         traceback.print_exc()
         raise
 
-class TestRequest(BaseModel):
+class UserInputRequest(BaseModel):
     user_input: str
 
-@app.post("/test")
-def test(req: TestRequest):
+@app.post("/generate")
+def generate(req: UserInputRequest):
     try:
-        prompt = f"Kullanıcı: {req.user_input}\nAsistan:"
-        log(f"💬 [5] Prompt alındı: {req.user_input}")
-
-        inputs = tokenizer([prompt], return_tensors="pt")
-        log("🧠 [6] Tokenizer çıktılarını hazırladı, generate başlıyor...")
+        log(f"💬 Kullanıcı isteği alındı: {req.user_input}")
 
-        outputs = model.generate(
-            **inputs,
-            max_new_tokens=256,
+        result = pipe(
+            req.user_input,
+            max_new_tokens=200,
             temperature=0.2,
             top_p=0.95,
             repetition_penalty=1.1,
             do_sample=True
         )
-        log("✅ [7] Generate tamamlandı, cevap dönülüyor.")
-
-        answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
-        answer_clean = answer.split("Asistan:")[-1].strip()
-        return {"response": answer_clean}
+        answer = result[0]["generated_text"]
+        return {"response": answer}
 
     except Exception as e:
-        log(f"❌ [ERROR] /test sırasında hata: {e}")
+        log(f"❌ /generate hatası: {e}")
         traceback.print_exc()
         raise HTTPException(status_code=500, detail=str(e))
 
@@ -98,6 +78,6 @@ def run_health_server():
 
 threading.Thread(target=run_health_server, daemon=True).start()
 
-log("⏸️ [0] Uygulama bekleme modunda, startup bekleniyor...")
+log("⏸️ Uygulama bekleme modunda...")
 while True:
     time.sleep(60)