Update app.py

app.py

@@ -1,31 +1,53 @@
 import os
 import gradio as gr
 import torch
-from transformers import pipeline
+import logging
+from transformers import pipeline, AutoModelForCausalLM, AutoTokenizer
 from dotenv import load_dotenv
 
+# Настройка логирования
+logging.basicConfig(level=logging.DEBUG, format='%(asctime)s - %(levelname)s - %(message)s')
+logger = logging.getLogger(__name__)
+
 # Загрузка переменных окружения
 load_dotenv()
 MODEL_NAME = os.getenv("MODEL_NAME", "Mixtral-8x7B-Instruct-v0-1")
 HF_TOKEN = os.getenv("HF_TOKEN")
 
-# Инициализация пайплайна для работы с моделью
-pipe = pipeline(
-    "text-generation",
-    model=MODEL_NAME,
-    use_auth_token=HF_TOKEN,
-    device=0 if torch.cuda.is_available() else -1
-)
+# Проверка доступности токена
+if not HF_TOKEN:
+    logger.error("HF_TOKEN не задан. Пожалуйста, укажите токен доступа Hugging Face в файле .env.")
+    raise EnvironmentError("Отсутствует токен доступа Hugging Face.")
+
+try:
+    # Инициализация пайплайна для работы с моделью
+    logger.info(f"Попытка загрузить модель: {MODEL_NAME}")
+    pipe = pipeline(
+        "text-generation",
+        model=MODEL_NAME,
+        use_auth_token=HF_TOKEN,
+        device=0 if torch.cuda.is_available() else -1
+    )
+    logger.info("Модель успешно загружена.")
+except Exception as e:
+    logger.error(f"Ошибка при загрузке модели: {e}")
+    raise
 
 def generate_response(prompt):
     """
     Функция для генерации ответа с использованием модели.
     Форматирует запрос в соответствии с требованиями модели.
     """
-    # Форматирование инструкции согласно требованиям модели
-    formatted_prompt = f"<s>[INST] {prompt} [/INST]</s>"
-    response = pipe(formatted_prompt, max_length=100, num_return_sequences=1)
-    return response[0]['generated_text']
+    try:
+        # Форматирование инструкции согласно требованиям модели
+        formatted_prompt = f"<s>[INST] {prompt} [/INST]</s>"
+        logger.debug(f"Сформированный запрос: {formatted_prompt}")
+        response = pipe(formatted_prompt, max_length=100, num_return_sequences=1)
+        logger.debug(f"Полученный ответ: {response}")
+        return response[0]['generated_text']
+    except Exception as e:
+        logger.error(f"Ошибка при генерации ответа: {e}")
+        return "Произошла ошибка при генерации ответа. Пожалуйста, попробуйте еще раз."
 
 # Интерфейс Gradio для взаимодействия с моделью
 def main():
@@ -42,4 +64,4 @@ def main():
     demo.launch(server_name="0.0.0.0", server_port=7860)
 
 if __name__ == "__main__":
-    main()
+    main()