Upload 3 files

Dockerfile

@@ -1,20 +1,23 @@
-FROM python:3.10-slim
-
-WORKDIR /app
-
-# Minimum sistem bağımlılıkları
-RUN apt-get update && apt-get install -y --no-install-recommends gcc && \
-    apt-get clean && rm -rf /var/lib/apt/lists/*
-
-# Önbellek ayarı (Xet kullanımını devre dışı bırak)
-ENV HF_HUB_DISABLE_SYMLINKS_WARNING=1
-ENV TRANSFORMERS_OFFLINE=0
-
-COPY requirements.txt .
-RUN pip install --no-cache-dir -r requirements.txt
-
-COPY . .
-
-EXPOSE 7860
-
+FROM python:3.10-slim
+
+WORKDIR /app
+
+# Minimum bağımlılıklar
+RUN apt-get update && apt-get install -y --no-install-recommends gcc && \
+    apt-get clean && rm -rf /var/lib/apt/lists/*
+
+# Önbellek ayarları
+ENV HF_HOME=/app/cache
+ENV TRANSFORMERS_OFFLINE=0
+
+COPY requirements.txt .
+RUN pip install --no-cache-dir -r requirements.txt
+
+COPY . .
+
+# Önbellek dizini oluştur
+RUN mkdir -p /app/cache && chmod -R 777 /app/cache
+
+EXPOSE 7860
+
 CMD ["python", "app.py"]

app.py

@@ -1,64 +1,65 @@
-import os
-from flask import Flask, request, jsonify
-from transformers import AutoTokenizer, AutoModelForCausalLM
-import torch
-import logging
-
-app = Flask(__name__)
-logging.basicConfig(level=logging.INFO)
-logger = logging.getLogger(__name__)
-
-# Daha küçük bir Türkçe model seçimi (CPU dostu)
-MODEL_NAME = "savasy/turkish-gpt2"  # 300MB boyutunda
-
-def load_model():
-    try:
-        logger.info("Küçük Türkçe model yükleniyor...")
-        tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
-        model = AutoModelForCausalLM.from_pretrained(MODEL_NAME)
-        
-        # CPU optimizasyonu
-        model = model.to('cpu')
-        torch.set_num_threads(1)  # Tek çekirdek kullan
-        
-        logger.info("Model başarıyla yüklendi")
-        return model, tokenizer
-    except Exception as e:
-        logger.error(f"Model yükleme hatası: {str(e)}")
-        raise RuntimeError("Model yüklenemedi")
-
-@app.route('/')
-def home():
-    return "Türkçe GPT-2 API Çalışıyor"
-
-@app.route('/generate', methods=['POST'])
-def generate():
-    try:
-        data = request.get_json()
-        prompt = data.get('prompt', '')[:500]  # 500 karakterle sınırla
-        
-        if not prompt:
-            return jsonify({"error": "Prompt gereklidir"}), 400
-
-        model, tokenizer = load_model()
-        inputs = tokenizer(prompt, return_tensors="pt").to('cpu')
-        
-        # CPU için optimize edilmiş üretim
-        outputs = model.generate(
-            inputs.input_ids,
-            max_length=100,  # Daha kısa çıktı
-            do_sample=True,
-            top_k=40,
-            temperature=0.7,
-            pad_token_id=tokenizer.eos_token_id
-        )
-        
-        result = tokenizer.decode(outputs[0], skip_special_tokens=True)
-        return jsonify({"result": result})
-        
-    except Exception as e:
-        logger.error(f"Hata: {str(e)}")
-        return jsonify({"error": "İşlem sırasında hata oluştu"}), 500
-
-if __name__ == '__main__':
-    app.run(host='0.0.0.0', port=7860, threaded=False)  # threaded=False CPU için daha iyi
+from flask import Flask, request, jsonify
+from transformers import AutoTokenizer, AutoModelForCausalLM
+import torch
+import logging
+
+app = Flask(__name__)
+logging.basicConfig(level=logging.INFO)
+logger = logging.getLogger(__name__)
+
+# Daha küçük Türkçe model
+MODEL_NAME = "savasy/turkish-gpt2"
+
+def load_model():
+    try:
+        logger.info("Model yükleniyor...")
+        tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
+        model = AutoModelForCausalLM.from_pretrained(MODEL_NAME)
+        
+        # CPU optimizasyonu
+        model = model.to('cpu')
+        torch.set_num_threads(1)
+        
+        logger.info("Model başarıyla yüklendi")
+        return model, tokenizer
+    except Exception as e:
+        logger.error(f"Model yükleme hatası: {str(e)}")
+        raise RuntimeError("Model yüklenemedi")
+
+@app.route('/health')
+def health_check():
+    try:
+        load_model()
+        return jsonify({"status": "healthy"})
+    except Exception as e:
+        return jsonify({"status": "unhealthy", "error": str(e)}), 500
+
+@app.route('/generate', methods=['POST'])
+def generate():
+    try:
+        data = request.get_json()
+        prompt = data.get('prompt', '')[:500]  # 500 karakter sınır
+        
+        if not prompt:
+            return jsonify({"error": "Prompt gereklidir"}), 400
+
+        model, tokenizer = load_model()
+        inputs = tokenizer(prompt, return_tensors="pt").to('cpu')
+        
+        outputs = model.generate(
+            inputs.input_ids,
+            max_length=100,
+            do_sample=True,
+            top_k=40,
+            temperature=0.7
+        )
+        
+        result = tokenizer.decode(outputs[0], skip_special_tokens=True)
+        return jsonify({"result": result})
+        
+    except Exception as e:
+        logger.error(f"Hata: {str(e)}")
+        return jsonify({"error": "İşlem sırasında hata oluştu"}), 500
+
+if __name__ == '__main__':
+    app.run(host='0.0.0.0', port=7860, threaded=False)

requirements.txt

@@ -1,4 +1,4 @@
-flask==2.0.3
-transformers==4.30.2
-torch==1.13.1+cpu  # CPU versiyonu
+flask==2.0.3
+transformers==4.30.2
+torch==1.13.1 --extra-index-url https://download.pytorch.org/whl/cpu
 sentencepiece==0.1.99