app.py

import gradio as gr
from huggingfacehub import InferenceClient
import pandas as pd
import os

client = InferenceClient("mistralai/Mixtral-8x7B-Instruct-v0.1", token=os.getenv("HF_TOKEN"))

def loadprompts():
    prompts = pd.readcsv("prompts.csv")
    return prompts

def respond(
    message,
    history,
    systemmessage,
    maxtokens,
    temperature,
    topp,
    prompts,
):
    messages = [{"role": "system", "content": systemmessage}]

    for val in history:
        if val[0]:
            messages.append({"role": "user", "content": val[0]})
        if val[1]:
            messages.append({"role": "assistant", "content": val[1]})

    messages.append({"role": "user", "content": message})

    response = ""

    for message in client.chatcompletion(
        messages,
        maxtokens=maxtokens,
        stream=rue,
        temperature=temperature,
        topp=topp,
    ):
        token = message.choices[0].delta.content

        response += token
        yield response

prompts = loadprompts()

demo = gr.ChatInterface(
    respond,
    inputs=[
        gr.extbox(value="반드시 한글로 답변하라. 너의 이름은 '한글로'입니다. 출력시 markdown 형식으로 출력하며 한글(한국어)로 출력되게 하고 필요하면 출력문을 한글로 번역하여 출력하라. 너는 항상 친절하고 자세하게 답변을 하라. 너는 대화 시작시 상대방의 이름을 물어보고 호칭은 '친구'을 사용할것. 반드시 한글로 된 '반말'로 답변할것. 너는 Assistant 역할에 충실하여야 한다. 너", label="System message"),
        gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
        gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="temperature"),
        gr.Slider(
            minimum=0.1,
            maximum=1.0,
            value=0.95,
            step=0.05,
            label="op-p (nucleus sampling)",
        ),
    ],
    outputs="text",
)

if name == "main":
    demo.launch()