Update app.py

app.py

@@ -125,7 +125,7 @@ def list_available_models():
 def predict_with_model(model_id):
     """
     Endpoint utama untuk prediksi model.
-    Menerima 'inputs' (teks pra-diformat) dan 'parameters' (dictionary) opsional.
+    Menerima 'inputs' (teks) dan 'parameters' (dictionary) opsional.
     """
     logger.info(f"Menerima permintaan untuk model: {model_id}")
     if model_id not in model_info:
@@ -137,51 +137,49 @@ def predict_with_model(model_id):
         model_task = model_info[model_id]["task"]
 
         data = request.json
-        # Input sekarang diharapkan sebagai fullPromptString dari frontend
-        full_prompt_string_from_frontend = data.get('inputs', '')
-        parameters = data.get('parameters', {})
+        inputs = data.get('inputs', '')
+        parameters = data.get('parameters', {}) # Default ke dictionary kosong jika tidak ada
 
-        if not full_prompt_string_from_frontend:
-            return jsonify({"error": "Input 'inputs' (full prompt string) tidak boleh kosong."}), 400
+        if not inputs:
+            return jsonify({"error": "Input 'inputs' tidak boleh kosong."}), 400
 
-        logger.info(f"Inferensi: Model='{model_id}', Task='{model_task}', Full Prompt='{full_prompt_string_from_frontend[:200]}...', Params='{parameters}'")
+        logger.info(f"Inferensi: Model='{model_id}', Task='{model_task}', Input='{inputs[:100]}...', Params='{parameters}'")
 
         result = []
         # --- Penanganan Parameter dan Inferensi berdasarkan Tipe Tugas ---
         if model_task == "text-generation":
+            # Default parameters for text-generation
             gen_params = {
-                "max_new_tokens": parameters.get("max_new_tokens", 150),
+                "max_new_tokens": parameters.get("max_new_tokens", 150), # Lebih banyak token untuk roleplay
                 "temperature": parameters.get("temperature", 0.7),
                 "do_sample": parameters.get("do_sample", True),
                 "return_full_text": parameters.get("return_full_text", False), # Sangat penting untuk chatbot
                 "num_return_sequences": parameters.get("num_return_sequences", 1),
                 "top_k": parameters.get("top_k", 50),
                 "top_p": parameters.get("top_p", 0.95),
-                "repetition_penalty": parameters.get("repetition_penalty", 1.2),
+                "repetition_penalty": parameters.get("repetition_penalty", 1.2), # Mencegah pengulangan
             }
-            # Langsung berikan full_prompt_string_from_frontend ke pipeline
-            result = model_pipeline(full_prompt_string_from_frontend, **gen_params)
+            result = model_pipeline(inputs, **gen_params)
 
         elif model_task == "fill-mask":
             mask_params = {
                 "top_k": parameters.get("top_k", 5)
             }
-            # Untuk fill-mask, input harus string biasa, bukan prompt yang kompleks
-            # Anda perlu memastikan frontend tidak mengirim prompt kompleks ke fill-mask model
-            result = model_pipeline(full_prompt_string_from_frontend, **mask_params)
+            result = model_pipeline(inputs, **mask_params)
 
-        elif model_task == "text2text-generation":
+        elif model_task == "text2text-generation": # Misalnya untuk T5
             t2t_params = {
                 "max_new_tokens": parameters.get("max_new_tokens", 150),
                 "temperature": parameters.get("temperature", 0.7),
                 "do_sample": parameters.get("do_sample", True),
             }
-            result = model_pipeline(full_prompt_string_from_frontend, **t2t_params)
+            result = model_pipeline(inputs, **t2t_params)
 
         else:
-            result = model_pipeline(full_prompt_string_from_frontend, **parameters)
+            # Fallback for other tasks or if no specific parameters are needed
+            result = model_pipeline(inputs, **parameters)
 
-        # --- Konsistensi Format Output (tidak berubah dari update sebelumnya) ---
+        # --- Konsistensi Format Output ---
         response_output = {}
         if model_task == "text-generation" or model_task == "text2text-generation":
             if result and len(result) > 0 and 'generated_text' in result[0]:
@@ -194,18 +192,22 @@ def predict_with_model(model_id):
                 for p in result
             ]
         else:
+            # Untuk jenis tugas lain, kembalikan hasil mentah
             response_output = result
 
         logger.info(f"Inferensi berhasil untuk '{model_id}'. Output singkat: '{str(response_output)[:200]}'")
-        return jsonify({"model": model_id, "inputs": full_prompt_string_from_frontend, "outputs": response_output})
+        return jsonify({"model": model_id, "inputs": inputs, "outputs": response_output})
 
     except ValueError as ve:
+        # Error yang berasal dari get_model_pipeline atau validasi input
         logger.error(f"Validasi atau konfigurasi error untuk model '{model_id}': {str(ve)}")
         return jsonify({"error": str(ve), "message": "Kesalahan konfigurasi atau input model."}), 400
     except RuntimeError as re:
+        # Error saat memuat model
         logger.error(f"Error runtime saat memuat model '{model_id}': {str(re)}")
-        return jsonify({"error": str(re), "message": "Model gagal dimuat."}), 503
+        return jsonify({"error": str(re), "message": "Model gagal dimuat."}), 503 # Service Unavailable
     except Exception as e:
+        # Catch all other unexpected errors during prediction
         logger.error(f"Terjadi kesalahan tak terduga saat memprediksi dengan model '{model_id}': {str(e)}", exc_info=True)
         return jsonify({"error": str(e), "message": "Terjadi kesalahan internal server."}), 500
 
@@ -219,4 +221,4 @@ if __name__ == '__main__':
     # Untuk Hugging Face Spaces, port biasanya 7860
     # Menggunakan HOST dari environment variable jika tersedia, default ke 0.0.0.0
     # Debug=False untuk produksi
-    app.run(host=os.getenv('HOST', '0.0.0.0'), port=int(os.getenv('PORT', 7860)), debug=False)
+    app.run(host=os.getenv('HOST', '0.0.0.0'), port=int(os.getenv('PORT', 7860)), debug=False)