Leri777 commited on
Commit
d5a1b3d
·
verified ·
1 Parent(s): e0d489b

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +8 -4
app.py CHANGED
@@ -11,7 +11,7 @@ logger = logging.getLogger(__name__)
11
 
12
  # Загрузка переменных окружения
13
  load_dotenv()
14
- MODEL_NAME = os.getenv("MODEL_NAME", "Mixtral-8x7B-Instruct-v0-1")
15
  HF_TOKEN = os.getenv("HF_TOKEN")
16
 
17
  # Проверка доступности токена
@@ -20,12 +20,16 @@ if not HF_TOKEN:
20
  raise EnvironmentError("Отсутствует токен доступа Hugging Face.")
21
 
22
  try:
23
- # Инициализация пайплайна для работы с моделью
24
  logger.info(f"Попытка загрузить модель: {MODEL_NAME}")
 
 
 
 
25
  pipe = pipeline(
26
  "text-generation",
27
- model=MODEL_NAME,
28
- use_auth_token=HF_TOKEN,
29
  device=0 if torch.cuda.is_available() else -1
30
  )
31
  logger.info("Модель успешно загружена.")
 
11
 
12
  # Загрузка переменных окружения
13
  load_dotenv()
14
+ MODEL_NAME = os.getenv("MODEL_NAME", "mistralai/Mixtral-8x7B-Instruct-v0.1") # Убедитесь, что идентификатор правильный
15
  HF_TOKEN = os.getenv("HF_TOKEN")
16
 
17
  # Проверка доступности токена
 
20
  raise EnvironmentError("Отсутствует токен доступа Hugging Face.")
21
 
22
  try:
23
+ # Загрузка токенизатора и модели вручную
24
  logger.info(f"Попытка загрузить модель: {MODEL_NAME}")
25
+ tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, use_auth_token=HF_TOKEN)
26
+ model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, use_auth_token=HF_TOKEN)
27
+
28
+ # Инициализация пайплайна для работы с моделью
29
  pipe = pipeline(
30
  "text-generation",
31
+ model=model,
32
+ tokenizer=tokenizer,
33
  device=0 if torch.cuda.is_available() else -1
34
  )
35
  logger.info("Модель успешно загружена.")