mrstarkng commited on
Commit
e466ef8
·
verified ·
1 Parent(s): abb2932

update cpu app.py

Browse files
Files changed (1) hide show
  1. app.py +2 -3
app.py CHANGED
@@ -19,9 +19,8 @@ tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL_ID)
19
  # Tải model nền
20
  base_model = AutoModelForSeq2SeqLM.from_pretrained(
21
  BASE_MODEL_ID,
22
- torch_dtype=torch.bfloat16, # Dùng bfloat16 để tối ưu
23
- device_map={"": DEVICE} # Chỉ định rõ thiết bị
24
- )
25
 
26
  # Tải và áp dụng adapter LoRA từ Hub của bạn
27
  model = PeftModel.from_pretrained(base_model, ADAPTER_ID)
 
19
  # Tải model nền
20
  base_model = AutoModelForSeq2SeqLM.from_pretrained(
21
  BASE_MODEL_ID,
22
+ torch_dtype=torch.float32, # Dùng float32 cho CPU
23
+ ).to(DEVICE)
 
24
 
25
  # Tải và áp dụng adapter LoRA từ Hub của bạn
26
  model = PeftModel.from_pretrained(base_model, ADAPTER_ID)