Spaces:
Running
Running
Update app.py
Browse files
app.py
CHANGED
@@ -32,7 +32,7 @@ from transformers import AutoTokenizer, AutoModelForCausalLM
|
|
32 |
###############################################################################
|
33 |
# Configuration #
|
34 |
###############################################################################
|
35 |
-
MODEL_NAME = "meta-llama/Llama-3.1-8B-Instruct" #
|
36 |
PROMPTS_PATH = "full_prompts.json" # 100 full prompts
|
37 |
STATE_PATH = "current_state.json" # persistent Oracle state
|
38 |
DATA_PATH = "data.json" # JSONL log of guesses
|
@@ -78,13 +78,17 @@ def load_prompts() -> list[str]:
|
|
78 |
###############################################################################
|
79 |
# Model loading #
|
80 |
###############################################################################
|
81 |
-
log.info("Loading Llama-3.1-8B-Instruct (FP32 CPU-only)
|
82 |
|
83 |
-
tokenizer = AutoTokenizer.from_pretrained(
|
|
|
|
|
|
|
84 |
model = AutoModelForCausalLM.from_pretrained(
|
85 |
MODEL_NAME,
|
86 |
torch_dtype=torch.float32,
|
87 |
-
device_map={"": "cpu"},
|
|
|
88 |
)
|
89 |
model.eval()
|
90 |
log.info("Model ready – Oracle awakened.")
|
|
|
32 |
###############################################################################
|
33 |
# Configuration #
|
34 |
###############################################################################
|
35 |
+
MODEL_NAME = "meta-llama/Llama-3.1-8B-Instruct" # gated, requires HF_READ_TOKEN
|
36 |
PROMPTS_PATH = "full_prompts.json" # 100 full prompts
|
37 |
STATE_PATH = "current_state.json" # persistent Oracle state
|
38 |
DATA_PATH = "data.json" # JSONL log of guesses
|
|
|
78 |
###############################################################################
|
79 |
# Model loading #
|
80 |
###############################################################################
|
81 |
+
log.info("Loading Llama-3.1-8B-Instruct (FP32 CPU-only) using secret token…")
|
82 |
|
83 |
+
tokenizer = AutoTokenizer.from_pretrained(
|
84 |
+
MODEL_NAME,
|
85 |
+
use_auth_token=os.environ.get("HF_READ_TOKEN")
|
86 |
+
)
|
87 |
model = AutoModelForCausalLM.from_pretrained(
|
88 |
MODEL_NAME,
|
89 |
torch_dtype=torch.float32,
|
90 |
+
device_map={"": "cpu"},
|
91 |
+
use_auth_token=os.environ.get("HF_READ_TOKEN")
|
92 |
)
|
93 |
model.eval()
|
94 |
log.info("Model ready – Oracle awakened.")
|