initial commit

app.py

@@ -0,0 +1,48 @@
+from transformers import PreTrainedTokenizerFast
+from tokenizers import SentencePieceBPETokenizer
+from transformers import BartForConditionalGeneration
+import streamlit as st
+import torch
+
+
+
+def tokenizer():
+    tokenizer = PreTrainedTokenizerFast.from_pretrained('gogamza/kobart-summarization')
+    return tokenizer
+
+
+@st.cache(allow_output_mutation=True)
+def get_model():
+    model = BartForConditionalGeneration.from_pretrained('gogamza/kobart-summarization')
+    model.eval()
+    return model
+
+
+default_text = '''질병관리청은 23일 지방자치단체가 보건당국과 협의 없이 단독으로 인플루엔자(독감) 백신 접종 중단을 결정해서는 안 된다는 입장을 밝혔다.
+    질병청은 이날 참고자료를 배포하고 “향후 전체 국가 예방접종사업이 차질 없이 진행되도록 지자체가 자체적으로 접종 유보 여부를 결정하지 않도록 안내를 했다”고 설명했다.
+    독감백신을 접종한 후 고령층을 중심으로 전국에서 사망자가 잇따르자 서울 영등포구보건소는 전날, 경북 포항시는 이날 관내 의료기관에 접종을 보류해달라는 공문을 내려보냈다. 이는 예방접종과 사망 간 직접적 연관성이 낮아 접종을 중단할 상황은 아니라는 질병청의 판단과는 다른 것이다.
+    질병청은 지난 21일 전문가 등이 참여한 ‘예방접종 피해조사반’의 분석 결과를 바탕으로 독감 예방접종 사업을 일정대로 진행하기로 했다. 특히 고령 어르신과 어린이, 임신부 등 독감 고위험군은 백신을 접종하지 않았을 때 합병증 피해가 클 수 있다면서 접종을 독려했다. 하지만 접종사업 유지 발표 이후에도 사망 보고가 잇따르자 질병청은 이날 ‘예방접종 피해조사반 회의’와 ‘예방접종 전문위원회’를 개최해 독감백신과 사망 간 관련성, 접종사업 유지 여부 등에 대해 다시 결론 내리기로 했다. 회의 결과는 이날 오후 7시 넘어 발표될 예정이다.
+'''
+
+
+model = get_model()
+tokenizer = tokenizer()
+st.title("Summarization Model Test")
+text = st.text_area("Input news :", value=default_text)
+
+st.markdown("## Original News Data")
+st.write(text)
+
+if text:
+    st.markdown("## Predict Summary")
+    with st.spinner('processing..'):
+        raw_input_ids = tokenizer.encode(text)
+        input_ids = [tokenizer.bos_token_id] + \
+            raw_input_ids + [tokenizer.eos_token_id]
+        summary_ids = model.generate(torch.tensor([input_ids]),
+                                     max_length=256,
+                                     early_stopping=True,
+                                     repetition_penalty=2.0)
+        summ = tokenizer.decode(summary_ids.squeeze().tolist(), skip_special_tokens=True)
+    st.write(summ)
+

requirements.txt

@@ -0,0 +1,4 @@
+torch
+transformers
+streamlit
+