Spaces:
Runtime error
Runtime error
update cpu app.py
Browse files
app.py
CHANGED
@@ -19,9 +19,8 @@ tokenizer = AutoTokenizer.from_pretrained(BASE_MODEL_ID)
|
|
19 |
# Tải model nền
|
20 |
base_model = AutoModelForSeq2SeqLM.from_pretrained(
|
21 |
BASE_MODEL_ID,
|
22 |
-
torch_dtype=torch.
|
23 |
-
|
24 |
-
)
|
25 |
|
26 |
# Tải và áp dụng adapter LoRA từ Hub của bạn
|
27 |
model = PeftModel.from_pretrained(base_model, ADAPTER_ID)
|
|
|
19 |
# Tải model nền
|
20 |
base_model = AutoModelForSeq2SeqLM.from_pretrained(
|
21 |
BASE_MODEL_ID,
|
22 |
+
torch_dtype=torch.float32, # Dùng float32 cho CPU
|
23 |
+
).to(DEVICE)
|
|
|
24 |
|
25 |
# Tải và áp dụng adapter LoRA từ Hub của bạn
|
26 |
model = PeftModel.from_pretrained(base_model, ADAPTER_ID)
|