Ilvir commited on
Commit
ed24903
·
1 Parent(s): f4c31e1

Delete gpt.py

Browse files
Files changed (1) hide show
  1. gpt.py +0 -46
gpt.py DELETED
@@ -1,46 +0,0 @@
1
- from transformers import GPT2LMHeadModel, GPT2Tokenizer
2
- import streamlit as st
3
- import torch
4
- import textwrap
5
-
6
-
7
- st.markdown('## Генерация текста GPT-моделью')
8
-
9
- tokenizer = GPT2Tokenizer.from_pretrained('sberbank-ai/rugpt3small_based_on_gpt2')
10
- model = GPT2LMHeadModel.from_pretrained(
11
- 'sberbank-ai/rugpt3small_based_on_gpt2',
12
- output_attentions = False,
13
- output_hidden_states = False,
14
- )
15
- # Вешаем сохраненные веса на нашу модель
16
- model.load_state_dict(torch.load('modelgpt.pt', map_location=torch.device('cpu')))
17
-
18
-
19
-
20
-
21
- length = st.sidebar.slider('Длина генерируемой последовательности:', 8, 256, 15)
22
- num_samples = st.sidebar.slider('Число генераций:', 1, 10, 1)
23
- temperature = st.sidebar.slider('Температура:', 1.0, 10.0, 2.0)
24
- top_k = st.sidebar.slider('Количество наиболее вероятных слов генерации:', 10, 200, 50)
25
- top_p = st.sidebar.slider('Минимальная суммарная вероятность топовых слов:', 0.4, 1.0, 0.9)
26
-
27
-
28
- prompt = st.text_input('Введите текст:')
29
- if st.button('Сгенерировать текст'):
30
-
31
- with torch.inference_mode():
32
- prompt = tokenizer.encode(prompt, return_tensors='pt')
33
- out = model.generate(
34
- input_ids=prompt,
35
- max_length=length,
36
- num_beams=5,
37
- do_sample=True,
38
- temperature=temperature,
39
- top_k=top_k,
40
- top_p=top_p,
41
- no_repeat_ngram_size=3,
42
- num_return_sequences=num_samples,
43
- ).cpu().numpy()
44
- for i, out_ in enumerate(out):
45
- st.write(f'Текст {i+1}:')
46
- st.write(textwrap.fill(tokenizer.decode(out_), 100))