Update app.py

app.py

@@ -1,59 +1,60 @@
 import gradio as gr
-import requests
-import json
+from huggingface_hub import InferenceClient
+import os
 
-# Naver Papago API를 사용하여 번역하는 함수
-def translate_text(text, source_lang, target_lang):
-    # 네이버 개발자 센터에서 발급받은 Client ID와 Client Secret
-    client_id = "YOUR_NAVER_CLIENT_ID"  # 여기에 네이버에서 발급받은 Client ID를 입력하세요.
-    client_secret = "YOUR_NAVER_CLIENT_SECRET"  # 여기에 네이버에서 발급받은 Client Secret을 입력하세요.
+# Cohere Command R+ 모델 ID 정의
+COHERE_MODEL = "CohereForAI/c4ai-command-r-plus-08-2024"
 
-    # Papago API 주소
-    url = "https://openapi.naver.com/v1/papago/n2mt"
-
-    # 요청 헤더 (네이버 API 키를 포함)
-    headers = {
-        "X-Naver-Client-Id": client_id,
-        "X-Naver-Client-Secret": client_secret,
-    }
-
-    # 요청 데이터 (원본 언어, 목표 언어, 번역할 텍스트)
-    data = {
-        "source": source_lang,
-        "target": target_lang,
-        "text": text,
-    }
+def get_client():
+    """
+    Cohere Command R+ 모델을 위한 InferenceClient 생성.
+    토큰은 환경 변수에서 가져옴.
+    """
+    hf_token = os.getenv("HF_TOKEN")
+    if not hf_token:
+        raise ValueError("HuggingFace API 토큰이 필요합니다.")
+    return InferenceClient(COHERE_MODEL, token=hf_token)
 
+def respond_cohere_qna(question, system_message, max_tokens, temperature, top_p):
+    """
+    Cohere Command R+ 모델을 이용해 한 번의 질문(question)에 대한 답변을 반환하는 함수.
+    """
     try:
-        # Papago API에 요청 보내기
-        response = requests.post(url, headers=headers, data=data)
-        # 응답을 JSON 형식으로 변환
-        result = response.json()
-        # 번역된 텍스트 추출
-        translated_text = result["message"]["result"]["translatedText"]
-        return translated_text
+        client = get_client()
+        messages = [
+            {"role": "system", "content": system_message},
+            {"role": "user", "content": question}
+        ]
+        response = client.chat_completion(
+            messages,
+            max_tokens=max_tokens,
+            temperature=temperature,
+            top_p=top_p,
+        )
+        return response.choices[0].message.content
     except Exception as e:
-        # 오류 발생 시 메시지 반환
         return f"오류가 발생했습니다: {str(e)}"
 
-# Gradio를 사용하여 웹 인터페이스 만들기
+# Gradio UI 구성
 with gr.Blocks() as demo:
-    gr.Markdown("# 한국어 ↔ 영어 번역기")
-
-    # 언어 선택
-    source_lang = gr.Radio(
-        choices=["ko", "en"],  # 원본 언어 선택 (한국어: ko, 영어: en)
-        label="원본 언어",
-        value="ko"
-    )
-    target_lang = gr.Radio(
-        choices=["ko", "en"],  # 목표 언어 선택 (한국어: ko, 영어: en)
-        label="목표 언어",
-        value="en"
-    )
+    gr.Markdown("# Cohere Command R+ 번역기")
 
     # 입력 텍스트
-    input_text = gr.Textbox(label="번역할 텍스트", lines=5)
+    input_text = gr.Textbox(label="입력 텍스트", lines=5)
+
+    # 고급 설정
+    with gr.Accordion("고급 설정 (Cohere)", open=False):
+        system_message = gr.Textbox(
+            value="""반드시 한글로 답변할 것.
+너는 최고의 비서이다.
+내가 요구하는것들을 최대한 자세하고 정확하게 답변하라.
+""",
+            label="System Message",
+            lines=3
+        )
+        max_tokens = gr.Slider(minimum=100, maximum=10000, value=4000, step=100, label="Max Tokens")
+        temperature = gr.Slider(minimum=0.1, maximum=2.0, value=0.7, step=0.1, label="Temperature")
+        top_p = gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-P")
 
     # 번역 결과
     translation_output = gr.Textbox(label="번역 결과", lines=5, interactive=False)
@@ -63,9 +64,9 @@ with gr.Blocks() as demo:
 
     # 번역 함수 연결
     translate_button.click(
-        fn=translate_text,  # 번역 함수
-        inputs=[input_text, source_lang, target_lang],  # 입력값
-        outputs=translation_output  # 출력값
+        fn=respond_cohere_qna,
+        inputs=[input_text, system_message, max_tokens, temperature, top_p],
+        outputs=translation_output
     )
 
 # 메인 실행부