Update app.py

app.py

@@ -1,6 +1,6 @@
 import streamlit as st
 from transformers import AutoTokenizer, AutoModelForCausalLM
-from transformers import pipeline
+# from transformers import pipeline
 
 model_name = "ai-forever/mGPT"
 tokenizer = AutoTokenizer.from_pretrained(model_name)
@@ -8,14 +8,14 @@ model = AutoModelForCausalLM.from_pretrained(model_name)
 
 
 # Декоратор @st.cache говорит Streamlit, что модель нужно загрузить только один раз, чтобы избежать утечек памяти
-@st.cache_resource
+# @st.cache_resource
 # загружает модель
-def load_model():
-    return pipeline("text-generation", model=model, tokenizer=tokenizer)
+# def load_model():
+    # return pipeline("text-generation", model=model, tokenizer=tokenizer)
 
 
 # Загружаем предварительно обученную модель
-answer = load_model()
+# answer = load_model()
 
 # Выводим заголовок страницы
 st.title("Помощник студента")
@@ -29,5 +29,17 @@ button = st.button('Получить ответ')
 
 # Выводим результат по нажатию кнопки
 if button:
+    input_ids = tokenizer.encode(text, return_tensors="pt")
+    out = model.generate(
+        input_ids, 
+        min_length=100, 
+        max_length=100, 
+        eos_token_id=5, 
+        pad_token=1,
+        top_k=10,
+        top_p=0.0,
+        no_repeat_ngram_size=5
+    )
+    generated_text = list(map(tokenizer.decode, out))[0]
     st.subheader("Вот мой ответ:")
-    st.write(answer(text)[0]["generated_text"])
+    st.write(generated_text)