Update app.py

app.py

@@ -11,7 +11,7 @@ logger = logging.getLogger(__name__)
 
 # Загрузка переменных окружения
 load_dotenv()
-MODEL_NAME = os.getenv("MODEL_NAME", "mistralai/Mixtral-8x7B-Instruct-v0.1")  # Убедитесь, что идентификатор правильный
+MODEL_NAME = os.getenv("MODEL_NAME", "mistralai/Mixtral-8x7B-Instruct-v0.1")
 HF_TOKEN = os.getenv("HF_TOKEN")
 
 # Проверка доступности токена
@@ -20,16 +20,12 @@ if not HF_TOKEN:
     raise EnvironmentError("Отсутствует токен доступа Hugging Face.")
 
 try:
-    # Загрузка токенизатора и модели вручную
-    logger.info(f"Попытка загрузить модель: {MODEL_NAME}")
-    tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, use_auth_token=HF_TOKEN)
-    model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, use_auth_token=HF_TOKEN)
-
     # Инициализация пайплайна для работы с моделью
+    logger.info(f"Попытка загрузить модель: {MODEL_NAME}")
     pipe = pipeline(
         "text-generation",
-        model=model,
-        tokenizer=tokenizer,
+        model=MODEL_NAME,
+        use_auth_token=HF_TOKEN,
         device=0 if torch.cuda.is_available() else -1
     )
     logger.info("Модель успешно загружена.")
@@ -46,9 +42,9 @@ def generate_response(prompt):
         # Форматирование инструкции согласно требованиям модели
         formatted_prompt = f"<s>[INST] {prompt} [/INST]</s>"
         logger.debug(f"Сформированный запрос: {formatted_prompt}")
-        response = pipe(formatted_prompt, max_length=100, num_return_sequences=1)
+        response = pipe(formatted_prompt, max_length=150, num_return_sequences=1)
         logger.debug(f"Полученный ответ: {response}")
-        return response[0]['generated_text']
+        return response[0]['generated_text'].replace(formatted_prompt, "").strip()
     except Exception as e:
         logger.error(f"Ошибка при генерации ответа: {e}")
         return "Произошла ошибка при генерации ответа. Пожалуйста, попробуйте еще раз."
@@ -65,7 +61,7 @@ def main():
                 response = gr.Textbox(label="Ответ модели")
         submit_btn.click(fn=generate_response, inputs=prompt, outputs=response)
 
-    demo.launch(server_name="0.0.0.0", server_port=7860)
+    demo.queue().launch(server_name="0.0.0.0", server_port=7860)
 
 if __name__ == "__main__":
     main()