app.py

import os
from huggingface_hub import InferenceClient
import streamlit as st

# 환경 변수에서 Hugging Face 토큰 가져오기
HF_TOKEN = os.getenv("HF_TOKEN")

# Inference Client 설정
client = InferenceClient(
    "https://<your-endpoint-url>",  # Inference Endpoint URL
    token=HF_TOKEN  # Hugging Face 토큰을 환경 변수에서 불러옴
)

# Streamlit 앱 페이지 설정
st.set_page_config(page_title="GRIN-MoE Chat", page_icon="🤖")
st.title("GRIN-MoE와 대화해보세요!")

# 채팅 히스토리 유지
if 'messages' not in st.session_state:
    st.session_state.messages = []

# 사용자 입력
user_input = st.text_input("입력 메시지를 작성하세요:")

# Stream을 처리하는 함수
def generate_streaming_response(prompt):
    response_text = ""
    for message in client.chat_completion(
        messages=[{"role": "user", "content": prompt}],
        max_tokens=500,
        stream=True
    ):
        delta = message.choices[0].delta.content
        response_text += delta
        yield delta

# 입력 메시지가 있을 때만 대화 처리
if user_input:
    st.session_state.messages.append({"role": "user", "content": user_input})

    # Streamlit에서 채팅을 출력하는 영역
    with st.spinner('GRIN-MoE가 응답하는 중...'):
        response_text = ""
        for delta in generate_streaming_response(user_input):
            response_text += delta
            st.write(response_text)
        st.session_state.messages.append({"role": "assistant", "content": response_text})

# 이전 메시지 표시
if st.session_state.messages:
    for msg in st.session_state.messages:
        if msg["role"] == "user":
            st.write(f"**사용자:** {msg['content']}")
        else:
            st.write(f"**GRIN-MoE:** {msg['content']}")