Spaces:
Runtime error
Runtime error
Update app.py
Browse files
app.py
CHANGED
@@ -11,7 +11,7 @@ logger = logging.getLogger(__name__)
|
|
11 |
|
12 |
# Загрузка переменных окружения
|
13 |
load_dotenv()
|
14 |
-
MODEL_NAME = os.getenv("MODEL_NAME", "Mixtral-8x7B-Instruct-v0
|
15 |
HF_TOKEN = os.getenv("HF_TOKEN")
|
16 |
|
17 |
# Проверка доступности токена
|
@@ -20,12 +20,16 @@ if not HF_TOKEN:
|
|
20 |
raise EnvironmentError("Отсутствует токен доступа Hugging Face.")
|
21 |
|
22 |
try:
|
23 |
-
#
|
24 |
logger.info(f"Попытка загрузить модель: {MODEL_NAME}")
|
|
|
|
|
|
|
|
|
25 |
pipe = pipeline(
|
26 |
"text-generation",
|
27 |
-
model=
|
28 |
-
|
29 |
device=0 if torch.cuda.is_available() else -1
|
30 |
)
|
31 |
logger.info("Модель успешно загружена.")
|
|
|
11 |
|
12 |
# Загрузка переменных окружения
|
13 |
load_dotenv()
|
14 |
+
MODEL_NAME = os.getenv("MODEL_NAME", "mistralai/Mixtral-8x7B-Instruct-v0.1") # Убедитесь, что идентификатор правильный
|
15 |
HF_TOKEN = os.getenv("HF_TOKEN")
|
16 |
|
17 |
# Проверка доступности токена
|
|
|
20 |
raise EnvironmentError("Отсутствует токен доступа Hugging Face.")
|
21 |
|
22 |
try:
|
23 |
+
# Загрузка токенизатора и модели вручную
|
24 |
logger.info(f"Попытка загрузить модель: {MODEL_NAME}")
|
25 |
+
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, use_auth_token=HF_TOKEN)
|
26 |
+
model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, use_auth_token=HF_TOKEN)
|
27 |
+
|
28 |
+
# Инициализация пайплайна для работы с моделью
|
29 |
pipe = pipeline(
|
30 |
"text-generation",
|
31 |
+
model=model,
|
32 |
+
tokenizer=tokenizer,
|
33 |
device=0 if torch.cuda.is_available() else -1
|
34 |
)
|
35 |
logger.info("Модель успешно загружена.")
|