Create app.py

app.py

@@ -0,0 +1,109 @@
+import logging
+import sys
+import os
+import json
+from flask import Flask, request, jsonify
+from llama_cpp import Llama
+from huggingface_hub import hf_hub_download
+
+# Inisialisasi Flask app
+app = Flask(__name__)
+
+# Konfigurasi Logging
+logging.basicConfig(stream=sys.stderr, level=logging.INFO)
+logger = logging.getLogger(__name__)
+
+# Set environment variables untuk nonaktifkan cache
+os.environ["TRANSFORMERS_OFFLINE"] = "1"
+os.environ["HF_DATASETS_OFFLINE"] = "1"
+os.environ["HUGGINGFACE_HUB_CACHE"] = "/tmp"  # Arahkan cache ke /tmp
+os.environ["HFC_USER_AGENT_DISABLE_TELEMETRY"] = "1"  # Nonaktifkan telemetry
+
+# Global Variables
+MODEL_NAME = "second-state/Qwen3-0.6B-GGUF"
+MODEL_BASENAME = "Qwen3-0.6B-Q4_K_S.gguf"
+MODEL_PATH = "/app/models"
+MODEL_FILE = os.path.join(MODEL_PATH, MODEL_BASENAME)
+
+# Load Model (Qwen3-0.6B-GGUF)
+def load_model():
+    logger.info("Sedang memuat model GGUF dari lokal...")
+    try:
+        # Pastikan model ada menggunakan huggingface_hub
+        logger.info(f"Memastikan model ada dengan hf_hub_download: {MODEL_NAME}, {MODEL_BASENAME}")
+        hf_hub_download(repo_id=MODEL_NAME, filename=MODEL_BASENAME, local_dir=MODEL_PATH, local_dir_use_symlinks=False)
+        logger.info("Model berhasil diunduh menggunakan hf_hub_download")
+        
+        # Periksa apakah file model ada
+        if not os.path.exists(MODEL_FILE):
+            logger.error(f"File model tidak ditemukan: {MODEL_FILE}")
+            logger.error(f"Cek isi direktori /app/models: {os.listdir('/app/models') if os.path.exists('/app/models') else 'Direktori tidak ditemukan'}")
+            return None
+
+        logger.info(f"Memuat model dari path: {MODEL_FILE}")
+        llm = Llama(
+            model_path=MODEL_FILE,
+            n_gpu_layers=0,  # Jalankan di CPU
+            n_threads=4,
+            verbose=True,
+            n_ctx=1024,
+        )
+        logger.info("Model GGUF berhasil dimuat!")
+        return llm
+    except Exception as e:
+        logger.error(f"Error loading model GGUF: {e}", exc_info=True)
+        return None
+
+llm = load_model()
+
+def ask_ai(prompt, llm_model):
+    try:
+        if llm_model is None:
+            return "Model gagal dimuat. Periksa log untuk detailnya."
+
+        # Format prompt untuk Qwen
+        formatted_prompt = f"Human: {prompt}\n<|file_separator|>Assistant:"
+
+        # Jalankan model
+        output = llm_model(
+            prompt, # formatted_prompt di model gemma ini tidak jalan
+            max_tokens=512,
+            temperature=0.7,
+            top_p=0.9,
+            stop=["<|file_separator|>"], #stop untuk Qwen
+            echo=False,
+            stream=False #Non Stream
+        )
+
+        # Extract text jawaban
+        jawaban = output['choices'][0]['text']
+
+        return jawaban.strip()
+    except Exception as e:
+        logger.error(f"Error selama inferensi: {e}", exc_info=True)
+        return f"Error: {e}"
+
+# Endpoint / (untuk menerima POST request)
+@app.route('/', methods=['POST'])
+def ask_ai_endpoint():
+    try:
+        data = request.get_json()  # Ambil data JSON dari request body
+        prompt = data.get('prompt')  # Ambil prompt dari data JSON
+        if not prompt:
+            return jsonify({"error": "Prompt tidak ditemukan dalam request body"}), 400
+
+        jawaban = ask_ai(prompt, llm)  # Dapatkan jawaban dari model
+        return jsonify({"jawaban": jawaban})  # Kembalikan jawaban sebagai JSON
+    except Exception as e:
+        logger.error(f"Error pada endpoint /: {e}", exc_info=True)
+        return jsonify({"error": str(e)}), 500
+
+@app.route('/health', methods=['GET'])  # Tambahkan health check
+def health_check():
+    return jsonify({"status": "healthy"})
+
+# Jalankan aplikasi Flask jika dijalankan langsung (untuk testing lokal)
+if __name__ == '__main__':
+    import os
+    port = int(os.environ.get("PORT", 8501))
+    app.run(debug=True, host='0.0.0.0', port=port)