laserbeam2045 commited on
Commit
ea7fb9b
·
1 Parent(s): cc45514
Files changed (1) hide show
  1. app.py +3 -3
app.py CHANGED
@@ -9,10 +9,10 @@ from llama_cpp import Llama # llama-cpp-python をインポート
9
  # Hugging Face Hub の設定
10
  # -----------------------------------------------------------------------------
11
  HF_TOKEN = os.environ.get("HF_TOKEN") # 必要に応じて Secrets にセット
12
- REPO_ID = "google/gemma-3-12b-it-qat-q4_0-gguf"
13
  # 実際にリポジトリに置かれている GGUF ファイル名を確認してください。
14
  # 例: "gemma-3-12b-it-qat-q4_0-gguf.gguf"
15
- GGUF_FILENAME = "gemma-3-12b-it-q4_0.gguf"
16
 
17
  # キャッシュ先のパス(リポジトリ直下に置く場合)
18
  MODEL_PATH = os.path.join(os.getcwd(), GGUF_FILENAME)
@@ -54,7 +54,7 @@ except Exception as e:
54
  # -----------------------------------------------------------------------------
55
  # FastAPI 定義
56
  # -----------------------------------------------------------------------------
57
- app = FastAPI(title="Gemma3-12B-IT Q4_0 GGUF API")
58
 
59
  class GenerationRequest(BaseModel):
60
  prompt: str
 
9
  # Hugging Face Hub の設定
10
  # -----------------------------------------------------------------------------
11
  HF_TOKEN = os.environ.get("HF_TOKEN") # 必要に応じて Secrets にセット
12
+ REPO_ID = "google/gemma-3-4b-it-qat-q4_0-gguf"
13
  # 実際にリポジトリに置かれている GGUF ファイル名を確認してください。
14
  # 例: "gemma-3-12b-it-qat-q4_0-gguf.gguf"
15
+ GGUF_FILENAME = "gemma-3-4b-it-q4_0.gguf"
16
 
17
  # キャッシュ先のパス(リポジトリ直下に置く場合)
18
  MODEL_PATH = os.path.join(os.getcwd(), GGUF_FILENAME)
 
54
  # -----------------------------------------------------------------------------
55
  # FastAPI 定義
56
  # -----------------------------------------------------------------------------
57
+ app = FastAPI(title="Gemma3-4B-IT Q4_0 GGUF API")
58
 
59
  class GenerationRequest(BaseModel):
60
  prompt: str