Update app.py

app.py

@@ -1,5 +1,3 @@
-# app.py
-
 import os
 import sys
 import subprocess
@@ -9,7 +7,7 @@ from typing import List, Dict, Any, Optional
 # 警告: 這在許多託管環境中可能因權限不足而失敗。建議使用 requirements.txt。
 
 def install_required_modules():
-    """使用 pip 在運行時安裝所有必要的 Python 模組。"""
+    """使用 pip 在運行時安裝所有必要的 Python 模組，並強制啟用 AVX-512 編譯。"""
     required_packages = [
         "fastapi",
         "uvicorn",
@@ -18,7 +16,21 @@ def install_required_modules():
         "llama-cpp-python" 
     ]
     
-    print("--- 嘗試動態安裝/升級必要的 Python 模組 ---")
+    # ----------------------------------------------------
+    # **核心修改處：設定 Llama.cpp 編譯選項**
+    # ----------------------------------------------------
+    compile_env = os.environ.copy()
+    
+    # 1. 強制使用 CMake
+    compile_env["FORCE_CMAKE"] = "1"
+    
+    # 2. 設定 CMake 參數，啟用 AVX512 和 AVX512_VNNI
+    # 注意: 如果您的 CPU 不支援 AVX512，這將導致程式運行時錯誤 (Illegal instruction)。
+    # 推薦將其設為環境變數，例如 os.environ.get("LLAMA_COMPILER_FLAGS", "-DLLAMA_AVX512=ON -DLLAMA_AVX512_VNNI=ON")
+    compile_env["CMAKE_ARGS"] = "-DLLAMA_AVX512=ON -DLLAMA_AVX512_VNNI=ON"
+    # ----------------------------------------------------
+
+    print("--- 嘗試動態安裝/升級必要的 Python 模組 (啟用 AVX-512 編譯) ---")
     
     try:
         subprocess.check_call([
@@ -27,11 +39,17 @@ def install_required_modules():
             "pip", 
             "install", 
             *required_packages, 
-            "--upgrade" 
-        ])
-        print("所有模組安裝/更新成功。")
+            "--upgrade",
+            "--no-cache-dir", # 確保重新編譯
+            "--force-reinstall" # 確保重新編譯
+        ], 
+        # 將設定好的環境變數傳遞給 subprocess
+        env=compile_env)
+        
+        print("所有模組安裝/更新成功，llama-cpp-python 已使用 AVX-512 編譯。")
     except subprocess.CalledProcessError as e:
         print(f"**致命錯誤**：模組安裝失敗。錯誤訊息: {e}")
+        print("請檢查您的 CPU 是否支援 AVX-512，或嘗試移除 CMAKE_ARGS 環境變數。")
         sys.exit(1)
     except Exception as e:
         print(f"**致命錯誤**：發生未知錯誤。錯誤訊息: {e}")
@@ -54,7 +72,7 @@ try:
     from huggingface_hub import hf_hub_download
     
     # 引入 Llama.cpp 模組
-    from llama_cpp import Llama
+    from llama_cpp import Llama, llama_print_system_info # 增加 system info 檢查
 except ImportError as e:
     print(f"**致命錯誤**：模組引入失敗。錯誤: {e}")
     sys.exit(1)
@@ -73,6 +91,12 @@ def initialize_llm():
     if LLAMA_INSTANCE is not None:
         return
 
+    # 檢查 AVX-512 是否啟用
+    print("--- Llama.cpp System Info ---")
+    print(llama_print_system_info())
+    print("-----------------------------")
+
+
     print(f"--- 1. 開始下載模型 {MODEL_NAME} ---")
     try:
         model_path = hf_hub_download(repo_id=MODEL_REPO, filename=MODEL_NAME)