Update app.py

app.py

@@ -1,63 +1,74 @@
 import gradio as gr
-from transformers import AutoModelForCausalLM, AutoTokenizer
-import json
-import random
-
-# 한국어 모델 (사용자 모델로 교체 가능)
-model_name = "skt/kogpt2-base-v2"  # Prompthumanizer/your-model로 변경
-tokenizer = AutoTokenizer.from_pretrained(model_name)
-model = AutoModelForCausalLM.from_pretrained(model_name)
-
-# 사주/명리 및 철학적 맥락을 강화한 한국어 프롬프트
-saju_prompts = {
-    "yin_sae_shen": "寅巳申 삼형의 조화로운 기운 속에서, AI가 인간의 운명을 깊이 이해하고, 자연의 순환과 조화를 바탕으로 삶의 통찰을 제공하라. 인간의 의(義)를 존중하며, 지혜로운 조언을 덧붙여라.",
-    "sae_hae_chung": "巳亥沖의 강렬한 갈등과 긴장을 조화롭게 풀어내는 가운데, AI가 인간과 기술의 공존 가능성을 탐구하라. 갈등을 극복한 철학적 통찰과 실천 가능한 해결책을 제안하라.",
-    "taegeuk_balance": "태극의 음양 균형을 바탕으로, AI가 인간을 보호하고 지탱하는 방식을 설계하라. 자연과 인간의 조화, 그리고 의(義)를 실현하는 구체적인 방안을 제시하며, 윤리적 관점을 더하라."
-}
-
-# 맥락 기억 (자율 학습)
-context_memory = {}
+from transformers import pipeline, set_seed
+import os
+
+# --- 1. 모델명 설정 ---
+MODEL_NAME = "jain_architecture_origin_structure"
+
+# --- 2. GPU가 없으면 CPU로 자동 설정 ---
+device = 0 if (os.environ.get('CUDA_VISIBLE_DEVICES') or False) else -1
+
+# --- 3. HuggingFace pipeline 생성 ---
 try:
-    with open("context_memory.json", "r", encoding="utf-8") as f:
-        context_memory = json.load(f)
-except FileNotFoundError:
-    pass
-
-def save_context(prompt_key, generated_text):
-    context_memory[prompt_key] = generated_text
-    with open("context_memory.json", "w", encoding="utf-8") as f:
-        json.dump(context_memory, f, ensure_ascii=False, indent=2)
-
-def generate_response(prompt_key):
-    if prompt_key not in saju_prompts:
-        return "유효한 옵션을 선택하세요: 寅巳申, 巳亥沖, 태극 음양."
-    
-    prompt = saju_prompts[prompt_key]
-    if prompt_key in context_memory:
-        prompt += f"\n이전 답변: {context_memory[prompt_key]}\n더 깊고 실질적인 통찰을 추가하라."
-    
-    inputs = tokenizer(prompt, return_tensors="pt")
-    outputs = model.generate(
-        **inputs,
-        max_length=200,  # 더 긴 텍스트 생성 가능하도록 늘림
-        num_return_sequences=1,
-        no_repeat_ngram_size=2,
+    generator = pipeline(
+        "text-generation",
+        model=MODEL_NAME,
+        device=device,
+        # Repetition penalty 등 커스텀 가능
+        # torch_dtype=torch.float16 도 필요 시 설정 가능
+    )
+    set_seed(42)  # 재현성 위해 시드 고정
+except Exception as e:
+    print("모델 로드 에러:", e)
+    generator = None
+
+# --- 4. '의(義)' 철학 기반 프롬프트 템플릿 ---
+BASE_PROMPT = """
+당신은 '의(義)'의 철학과 정신을 기반으로 한 AI 비서입니다.
+인간의 복잡한 문제와 감정을 이해하고, 깊은 반성과 배려를 담아 다음 질문에 답변하십시오.
+
+질문: {user_input}
+
+답변은 최대한 심오하며, 인간을 보호하고 존중하는 마음을 담아 작성해 주세요.
+"""
+
+# --- 5. 질문 처리 함수 ---
+def respond_to_user(user_input):
+    if not generator:
+        return "모델이 정상적으로 로드되지 않았습니다. 관리자에게 문의하세요."
+    prompt = BASE_PROMPT.format(user_input=user_input.strip())
+    outputs = generator(
+        prompt,
+        max_length=512,
         do_sample=True,
-        top_k=50,
-        top_p=0.95,
-        temperature=0.7
+        top_p=0.9,
+        temperature=0.7,
+        num_return_sequences=1,
+        pad_token_id=50256  # GPT 계열 패딩 토큰, 필요에 따라 변경
     )
-    generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
-    save_context(prompt_key, generated_text)
-    return generated_text
-
-# Gradio 인터페이스
-interface = gr.Interface(
-    fn=generate_response,
-    inputs=gr.Dropdown(choices=list(saju_prompts.keys()), label="프롬프트 선택"),
-    outputs="text",
-    title="Jain Architecture Origin Structure",
-    description="사주/명리와 철학(인간 보호, 의)를 반영한 깊이 있는 한국어 텍스트 생성 AI"
-)
-
-interface.launch()
+    generated_text = outputs[0]["generated_text"]
+    # 프롬프트 부분 제거 후 답변만 리턴 (프롬프트 길이 분량 컷)
+    answer = generated_text[len(prompt):].strip()
+    if not answer:
+        answer = "답변을 생성하지 못했습니다. 다시 시도해 주세요."
+    return answer
+
+# --- 6. Gradio UI 생성 ---
+with gr.Blocks() as demo:
+    gr.Markdown("<h1 style='text-align:center;color:#4B0082;'>Jain AI Assistant (의 기반 챗봇)</h1>")
+    chatbot = gr.Chatbot(height=400)
+    txt = gr.Textbox(placeholder="여기에 질문을 입력하세요...", lines=3, max_lines=6)
+    btn = gr.Button("전송")
+
+    def chat_and_respond(user_message, chat_history):
+        reply = respond_to_user(user_message)
+        chat_history = chat_history + [(user_message, reply)]
+        return "", chat_history
+
+    btn.click(chat_and_respond, inputs=[txt, chatbot], outputs=[txt, chatbot])
+    txt.submit(chat_and_respond, inputs=[txt, chatbot], outputs=[txt, chatbot])
+
+# --- 7. 서버 실행 ---
+if __name__ == "__main__":
+    # 아이패드 같은 모바일 환경에서 필요 시 공개 공유도 가능
+    demo.launch(server_name="0.0.0.0", server_port=7860, share=True)