ProCreations commited on
Commit
e03a150
·
verified ·
1 Parent(s): 1bdfbda

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +8 -4
app.py CHANGED
@@ -32,7 +32,7 @@ from transformers import AutoTokenizer, AutoModelForCausalLM
32
  ###############################################################################
33
  # Configuration #
34
  ###############################################################################
35
- MODEL_NAME = "meta-llama/Llama-3.1-8B-Instruct" # full-precision model
36
  PROMPTS_PATH = "full_prompts.json" # 100 full prompts
37
  STATE_PATH = "current_state.json" # persistent Oracle state
38
  DATA_PATH = "data.json" # JSONL log of guesses
@@ -78,13 +78,17 @@ def load_prompts() -> list[str]:
78
  ###############################################################################
79
  # Model loading #
80
  ###############################################################################
81
- log.info("Loading Llama-3.1-8B-Instruct (FP32 CPU-only) this can take a while.")
82
 
83
- tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME)
 
 
 
84
  model = AutoModelForCausalLM.from_pretrained(
85
  MODEL_NAME,
86
  torch_dtype=torch.float32,
87
- device_map={"": "cpu"}, # force CPU placement
 
88
  )
89
  model.eval()
90
  log.info("Model ready – Oracle awakened.")
 
32
  ###############################################################################
33
  # Configuration #
34
  ###############################################################################
35
+ MODEL_NAME = "meta-llama/Llama-3.1-8B-Instruct" # gated, requires HF_READ_TOKEN
36
  PROMPTS_PATH = "full_prompts.json" # 100 full prompts
37
  STATE_PATH = "current_state.json" # persistent Oracle state
38
  DATA_PATH = "data.json" # JSONL log of guesses
 
78
  ###############################################################################
79
  # Model loading #
80
  ###############################################################################
81
+ log.info("Loading Llama-3.1-8B-Instruct (FP32 CPU-only) using secret token…")
82
 
83
+ tokenizer = AutoTokenizer.from_pretrained(
84
+ MODEL_NAME,
85
+ use_auth_token=os.environ.get("HF_READ_TOKEN")
86
+ )
87
  model = AutoModelForCausalLM.from_pretrained(
88
  MODEL_NAME,
89
  torch_dtype=torch.float32,
90
+ device_map={"": "cpu"},
91
+ use_auth_token=os.environ.get("HF_READ_TOKEN")
92
  )
93
  model.eval()
94
  log.info("Model ready – Oracle awakened.")