Update app.py

app.py

@@ -1,10 +1,21 @@
 import streamlit as st
-from transformers import GPT2LMHeadModel, GPT2Tokenizer
+from transformers import AutoTokenizer, AutoModelForCausalLM
+# from transformers import pipeline
 
+model_name = "ai-forever/mGPT"
+tokenizer = AutoTokenizer.from_pretrained(model_name)
+model = AutoModelForCausalLM.from_pretrained(model_name)
 
-model_name = "sberbank-ai/mGPT"
-tokenizer = GPT2Tokenizer.from_pretrained("model_name")
-model = GPT2LMHeadModel.from_pretrained("model_name")
+
+# Декоратор @st.cache говорит Streamlit, что модель нужно загрузить только один раз, чтобы избежать утечек памяти
+# @st.cache_resource
+# загружает модель
+# def load_model():
+    # return pipeline("text-generation", model=model, tokenizer=tokenizer)
+
+
+# Загружаем предварительно обученную модель
+# answer = load_model()
 
 # Выводим заголовок страницы
 st.title("Помощник студента")
@@ -24,7 +35,7 @@ if button:
         min_length=100, 
         max_length=100, 
         eos_token_id=5, 
-        # pad_token=1,
+        #pad_token=1,
         top_k=10,
         top_p=0.0,
         no_repeat_ngram_size=5