Spaces:
Running
Running
laserbeam2045
commited on
Commit
·
ea7fb9b
1
Parent(s):
cc45514
fix
Browse files
app.py
CHANGED
@@ -9,10 +9,10 @@ from llama_cpp import Llama # llama-cpp-python をインポート
|
|
9 |
# Hugging Face Hub の設定
|
10 |
# -----------------------------------------------------------------------------
|
11 |
HF_TOKEN = os.environ.get("HF_TOKEN") # 必要に応じて Secrets にセット
|
12 |
-
REPO_ID = "google/gemma-3-
|
13 |
# 実際にリポジトリに置かれている GGUF ファイル名を確認してください。
|
14 |
# 例: "gemma-3-12b-it-qat-q4_0-gguf.gguf"
|
15 |
-
GGUF_FILENAME = "gemma-3-
|
16 |
|
17 |
# キャッシュ先のパス(リポジトリ直下に置く場合)
|
18 |
MODEL_PATH = os.path.join(os.getcwd(), GGUF_FILENAME)
|
@@ -54,7 +54,7 @@ except Exception as e:
|
|
54 |
# -----------------------------------------------------------------------------
|
55 |
# FastAPI 定義
|
56 |
# -----------------------------------------------------------------------------
|
57 |
-
app = FastAPI(title="Gemma3-
|
58 |
|
59 |
class GenerationRequest(BaseModel):
|
60 |
prompt: str
|
|
|
9 |
# Hugging Face Hub の設定
|
10 |
# -----------------------------------------------------------------------------
|
11 |
HF_TOKEN = os.environ.get("HF_TOKEN") # 必要に応じて Secrets にセット
|
12 |
+
REPO_ID = "google/gemma-3-4b-it-qat-q4_0-gguf"
|
13 |
# 実際にリポジトリに置かれている GGUF ファイル名を確認してください。
|
14 |
# 例: "gemma-3-12b-it-qat-q4_0-gguf.gguf"
|
15 |
+
GGUF_FILENAME = "gemma-3-4b-it-q4_0.gguf"
|
16 |
|
17 |
# キャッシュ先のパス(リポジトリ直下に置く場合)
|
18 |
MODEL_PATH = os.path.join(os.getcwd(), GGUF_FILENAME)
|
|
|
54 |
# -----------------------------------------------------------------------------
|
55 |
# FastAPI 定義
|
56 |
# -----------------------------------------------------------------------------
|
57 |
+
app = FastAPI(title="Gemma3-4B-IT Q4_0 GGUF API")
|
58 |
|
59 |
class GenerationRequest(BaseModel):
|
60 |
prompt: str
|