app.py

import logging
import sys
import os
import json
from flask import Flask, request, jsonify
from llama_cpp import Llama
from huggingface_hub import hf_hub_download

# Inisialisasi Flask app
app = Flask(__name__)

# Konfigurasi Logging
logging.basicConfig(stream=sys.stderr, level=logging.INFO)
logger = logging.getLogger(__name__)

# Set environment variables untuk nonaktifkan cache
os.environ["TRANSFORMERS_OFFLINE"] = "1"
os.environ["HF_DATASETS_OFFLINE"] = "1"
os.environ["HUGGINGFACE_HUB_CACHE"] = "/tmp"  # Arahkan cache ke /tmp
os.environ["HFC_USER_AGENT_DISABLE_TELEMETRY"] = "1"  # Nonaktifkan telemetry

# Global Variables
MODEL_NAME = "second-state/Qwen3-0.6B-GGUF"
MODEL_BASENAME = "Qwen3-0.6B-Q4_K_S.gguf"
MODEL_PATH = "/app/models"
MODEL_FILE = os.path.join(MODEL_PATH, MODEL_BASENAME)

# Load Model (Qwen3-0.6B-GGUF)
def load_model():
    logger.info("Sedang memuat model GGUF dari lokal...")
    try:
        # Pastikan model ada menggunakan huggingface_hub
        logger.info(f"Memastikan model ada dengan hf_hub_download: {MODEL_NAME}, {MODEL_BASENAME}")
        hf_hub_download(repo_id=MODEL_NAME, filename=MODEL_BASENAME, local_dir=MODEL_PATH, local_dir_use_symlinks=False)
        logger.info("Model berhasil diunduh menggunakan hf_hub_download")
        
        # Periksa apakah file model ada
        if not os.path.exists(MODEL_FILE):
            logger.error(f"File model tidak ditemukan: {MODEL_FILE}")
            logger.error(f"Cek isi direktori /app/models: {os.listdir('/app/models') if os.path.exists('/app/models') else 'Direktori tidak ditemukan'}")
            return None

        logger.info(f"Memuat model dari path: {MODEL_FILE}")
        llm = Llama(
            model_path=MODEL_FILE,
            n_gpu_layers=0,  # Jalankan di CPU
            n_threads=4,
            verbose=True,
            n_ctx=1024,
        )
        logger.info("Model GGUF berhasil dimuat!")
        return llm
    except Exception as e:
        logger.error(f"Error loading model GGUF: {e}", exc_info=True)
        return None

llm = load_model()

def ask_ai(prompt, llm_model):
    try:
        if llm_model is None:
            return "Model gagal dimuat. Periksa log untuk detailnya."

        # Format prompt untuk Qwen
        formatted_prompt = f"Human: {prompt}\n<|file_separator|>Assistant:"

        # Jalankan model
        output = llm_model(
            prompt, # formatted_prompt di model gemma ini tidak jalan
            max_tokens=512,
            temperature=0.7,
            top_p=0.9,
            stop=["<|file_separator|>"], #stop untuk Qwen
            echo=False,
            stream=False #Non Stream
        )

        # Extract text jawaban
        jawaban = output['choices'][0]['text']

        return jawaban.strip()
    except Exception as e:
        logger.error(f"Error selama inferensi: {e}", exc_info=True)
        return f"Error: {e}"

# Endpoint / (untuk menerima POST request)
@app.route('/', methods=['POST'])
def ask_ai_endpoint():
    try:
        data = request.get_json()  # Ambil data JSON dari request body
        prompt = data.get('prompt')  # Ambil prompt dari data JSON
        if not prompt:
            return jsonify({"error": "Prompt tidak ditemukan dalam request body"}), 400

        jawaban = ask_ai(prompt, llm)  # Dapatkan jawaban dari model
        return jsonify({"jawaban": jawaban})  # Kembalikan jawaban sebagai JSON
    except Exception as e:
        logger.error(f"Error pada endpoint /: {e}", exc_info=True)
        return jsonify({"error": str(e)}), 500

@app.route('/health', methods=['GET'])  # Tambahkan health check
def health_check():
    return jsonify({"status": "healthy"})

# Jalankan aplikasi Flask jika dijalankan langsung (untuk testing lokal)
if __name__ == '__main__':
    import os
    port = int(os.environ.get("PORT", 8501))
    app.run(debug=True, host='0.0.0.0', port=port)