Spaces:
Running
on
Zero
Running
on
Zero
Update app.py
Browse files
app.py
CHANGED
@@ -7,14 +7,37 @@ import json
|
|
7 |
from datetime import datetime
|
8 |
import torch
|
9 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
|
|
10 |
|
11 |
# 환경 변수 설정
|
12 |
HF_TOKEN = os.getenv("HF_TOKEN")
|
13 |
MODEL_ID = "CohereForAI/c4ai-command-r-plus-08-2024"
|
14 |
|
15 |
-
#
|
16 |
-
|
17 |
-
os.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
18 |
|
19 |
# 환경 변수 설정
|
20 |
os.environ["TRANSFORMERS_CACHE"] = os.path.join(PERSISTENT_DIR, "transformers_cache")
|
@@ -27,7 +50,15 @@ for cache_dir in [
|
|
27 |
os.environ["TORCH_HOME"],
|
28 |
os.environ["HF_HOME"]
|
29 |
]:
|
30 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
31 |
|
32 |
class ModelManager:
|
33 |
def __init__(self):
|
|
|
7 |
from datetime import datetime
|
8 |
import torch
|
9 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
10 |
+
import shutil
|
11 |
|
12 |
# 환경 변수 설정
|
13 |
HF_TOKEN = os.getenv("HF_TOKEN")
|
14 |
MODEL_ID = "CohereForAI/c4ai-command-r-plus-08-2024"
|
15 |
|
16 |
+
# 사용자 홈 디렉토리 기반 경로 설정
|
17 |
+
USER_HOME = os.path.expanduser("~")
|
18 |
+
PERSISTENT_DIR = os.path.join(USER_HOME, "persistent_storage", "model_cache")
|
19 |
+
|
20 |
+
# 스토리지 상태 확인
|
21 |
+
def check_storage():
|
22 |
+
try:
|
23 |
+
total, used, free = shutil.disk_usage(USER_HOME)
|
24 |
+
print(f"스토리지 상태:")
|
25 |
+
print(f"총 용량: {total // (2**30)}GB")
|
26 |
+
print(f"사용 중: {used // (2**30)}GB")
|
27 |
+
print(f"남은 용량: {free // (2**30)}GB")
|
28 |
+
except Exception as e:
|
29 |
+
print(f"스토리지 확인 실패: {e}")
|
30 |
+
|
31 |
+
# 디렉토리 생성
|
32 |
+
try:
|
33 |
+
os.makedirs(PERSISTENT_DIR, exist_ok=True)
|
34 |
+
print(f"캐시 디렉토리 생성 완료: {PERSISTENT_DIR}")
|
35 |
+
except Exception as e:
|
36 |
+
print(f"캐시 디렉토리 생성 실패: {e}")
|
37 |
+
# 임시 디렉토리로 폴백
|
38 |
+
PERSISTENT_DIR = os.path.join("/tmp", "model_cache")
|
39 |
+
os.makedirs(PERSISTENT_DIR, exist_ok=True)
|
40 |
+
print(f"임시 캐시 디렉토리 사용: {PERSISTENT_DIR}")
|
41 |
|
42 |
# 환경 변수 설정
|
43 |
os.environ["TRANSFORMERS_CACHE"] = os.path.join(PERSISTENT_DIR, "transformers_cache")
|
|
|
50 |
os.environ["TORCH_HOME"],
|
51 |
os.environ["HF_HOME"]
|
52 |
]:
|
53 |
+
try:
|
54 |
+
os.makedirs(cache_dir, exist_ok=True)
|
55 |
+
print(f"생성된 캐시 디렉토리: {cache_dir}")
|
56 |
+
except Exception as e:
|
57 |
+
print(f"캐시 디렉토리 생성 실패: {cache_dir} - {e}")
|
58 |
+
|
59 |
+
# 시작 시 스토리지 상태 확인
|
60 |
+
check_storage()
|
61 |
+
|
62 |
|
63 |
class ModelManager:
|
64 |
def __init__(self):
|