Update app-backup.py

app-backup.py

@@ -14,6 +14,9 @@ import numpy as np
 import soundfile as sf
 import subprocess
 import shutil
+import requests
+import logging
+from datetime import datetime, timedelta
 from dataclasses import dataclass
 from typing import List, Tuple, Dict, Optional
 from pathlib import Path
@@ -72,10 +75,13 @@ except:
 
 load_dotenv()
 
+# Brave Search API 설정
+BRAVE_KEY = os.getenv("BSEARCH_API")
+BRAVE_ENDPOINT = "https://api.search.brave.com/res/v1/web/search"
 
 @dataclass
 class ConversationConfig:
-    max_words: int = 6000
+    max_words: int = 4000
     prefix_url: str = "https://r.jina.ai/"
     api_model_name: str = "meta-llama/Meta-Llama-3.1-8B-Instruct-Turbo"
     legacy_local_model_name: str = "NousResearch/Hermes-2-Pro-Llama-3-8B"
@@ -83,9 +89,73 @@ class ConversationConfig:
     local_model_name: str = "Private-BitSix-Mistral-Small-3.1-24B-Instruct-2503.gguf"
     local_model_repo: str = "ginigen/Private-BitSix-Mistral-Small-3.1-24B-Instruct-2503"
     # 토큰 수 증가
-    max_tokens: int = 6000  # 2048에서 6000으로 증가
-    max_new_tokens: int = 8000  # 4000에서 8000으로 증가
+    max_tokens: int = 3000  # 2048에서 6000으로 증가
+    max_new_tokens: int = 6000  # 4000에서 8000으로 증가
+
+
+def brave_search(query: str, count: int = 8, freshness_days: int | None = None):
+    """Brave Search API를 사용하여 최신 정보 검색"""
+    if not BRAVE_KEY:
+        return []
+    params = {"q": query, "count": str(count)}
+    if freshness_days:
+        dt_from = (datetime.utcnow() - timedelta(days=freshness_days)).strftime("%Y-%m-%d")
+        params["freshness"] = dt_from
+    try:
+        r = requests.get(
+            BRAVE_ENDPOINT,
+            headers={"Accept": "application/json", "X-Subscription-Token": BRAVE_KEY},
+            params=params,
+            timeout=15
+        )
+        raw = r.json().get("web", {}).get("results") or []
+        return [{
+            "title": r.get("title", ""),
+            "url": r.get("url", r.get("link", "")),
+            "snippet": r.get("description", r.get("text", "")),
+            "host": re.sub(r"https?://(www\.)?", "", r.get("url", "")).split("/")[0]
+        } for r in raw[:count]]
+    except Exception as e:
+        logging.error(f"Brave search error: {e}")
+        return []
+
+def format_search_results(query: str) -> str:
+    """검색 결과를 포맷팅하여 반환 (간략하게)"""
+    rows = brave_search(query, 3, freshness_days=3)  # 6개에서 3개로 줄임
+    if not rows:
+        return ""  # 빈 문자열 반환
+    
+    # 검색 결과를 더 간략하게 요약
+    results = []
+    for r in rows[:2]:  # 최대 2개만 사용
+        # 스니펫을 100자로 제한
+        snippet = r['snippet'][:100] + "..." if len(r['snippet']) > 100 else r['snippet']
+        results.append(f"- {r['title']}: {snippet}")
+    
+    return "\n".join(results) + "\n"
 
+def extract_keywords_for_search(text: str, language: str = "English") -> List[str]:
+    """텍스트에서 검색할 키워드 추출 (개선)"""
+    # 텍스트 앞부분만 사용 (너무 많은 텍스트 처리 방지)
+    text_sample = text[:500]  
+    
+    if language == "Korean":
+        import re
+        # 한국어 명사 추출 (2글자 이상)
+        keywords = re.findall(r'[가-힣]{2,}', text_sample)
+        # 중복 제거하고 가장 긴 단어 1개만 선택
+        unique_keywords = list(dict.fromkeys(keywords))
+        # 길이 순으로 정렬하고 가장 의미있을 것 같은 단어 선택
+        unique_keywords.sort(key=len, reverse=True)
+        return unique_keywords[:1]  # 1개만 반환
+    else:
+        # 영어는 대문자로 시작하는 단어 중 가장 긴 것 1개
+        words = text_sample.split()
+        keywords = [word.strip('.,!?;:') for word in words 
+                   if len(word) > 4 and word[0].isupper()]
+        if keywords:
+            return [max(keywords, key=len)]  # 가장 긴 단어 1개
+        return []
 
 class UnifiedAudioConverter:
     def __init__(self, config: ConversationConfig):
@@ -130,7 +200,7 @@ class UnifiedAudioConverter:
                     flash_attn=True,
                     n_gpu_layers=81 if torch.cuda.is_available() else 0,
                     n_batch=1024,
-                    n_ctx=8192,
+                    n_ctx=16384,
                 )
                 self.local_llm_model = self.config.local_model_name
                 print(f"Local LLM initialized: {model_path_local}")
@@ -238,10 +308,15 @@ class UnifiedAudioConverter:
         else:
             return MessagesFormatterType.LLAMA_3
 
-    def _build_prompt(self, text: str, language: str = "English") -> str:
-        """Build prompt for conversation generation"""
+
+    def _build_prompt(self, text: str, language: str = "English", search_context: str = "") -> str:
+        """Build prompt for conversation generation with search context"""
+            # 텍스트 길이 제한을 더 강하게 적용
+        max_text_length = 3000 if search_context else 4000
+        if len(text) > max_text_length:
+            text = text[:max_text_length] + "..."
+        
         if language == "Korean":
-            # 강화된 한국어 프롬프트
             template = """
             {
                 "conversation": [
@@ -252,22 +327,27 @@ class UnifiedAudioConverter:
                 ]
             }
             """
-            return (
-                f"{text}\n\n"
-                f"위 내용을 바탕으로 30대 한국인 두 명이 진행하는 자연스럽고 흥미로운 한국어 팟캐스트 대화를 만들어주세요.\n\n"
-                f"필수 지침:\n"
-                f"1. 준수(진행자): 친근하고 호기심 많은 성격, 청취자의 궁금증을 대변\n"
-                f"2. 민호(전문가): 해당 주제에 대한 깊은 지식을 가진 전문가, 쉽게 설명하는 능력\n"
-                f"3. 한국인이 실제로 사용하는 자연스러운 표현과 감탄사 사용 ('아~', '그렇구나', '와~', '진짜요?')\n"
-                f"4. 적절한 존댓말과 편안한 반말을 섞어 친밀감 조성\n"
-                f"5. 한국 문화와 일상에 맞는 구체적인 예시와 비유 사용\n"
-                f"6. 각 대화는 충분히 길고 상세하게 (최소 3-4문장 이상)\n"
-                f"7. 전체 대화는 최소 10회 이상의 주고받기로 구성\n"
-                f"8. 청취자가 '나도 궁금했던 내용이야'라고 공감할 수 있는 질문 포함\n"
-                f"9. 핵심 정보를 자연스럽게 전달하면서도 지루하지 않게 구성\n"
-                f"10. 마무리는 핵심 내용 요약과 청취자에게 도움이 되는 실용적 조언\n\n"
-                f"다음 JSON 형식으로만 반환하세요:\n{template}"
+            
+            # 검색 컨텍스트가 있을 때만 포함
+            context_part = ""
+            if search_context:
+                context_part = f"# 최신 관련 정보:\n{search_context}\n"
+        
+            base_prompt = (
+                f"# 원본 콘텐츠:\n{text}\n\n"
+                f"{context_part}"
+                f"위 내용으로 한국어 팟캐스트 대화를 만들어주세요.\n\n"
+                f"## 핵심 지침:\n"
+                f"- 준수(진행자)와 민호(전문가) 두 30대 남성의 대화\n"
+                f"- 서로 존댓말 사용 필수 (반말 절대 금지)\n"
+                f"- 자연스러운 한국어 표현 사용\n"
+                f"- 각 대화 2-3문장, 전체 8-10회 주고받기\n"
+                f"- 최신 정보가 있다면 자연스럽게 포함\n\n"
+                f"JSON 형식으로만 반환:\n{template}"
             )
+            
+            return base_prompt
+            
         else:
             template = """
             {
@@ -279,49 +359,74 @@ class UnifiedAudioConverter:
                 ]
             }
             """
-            return (
-                f"{text}\n\n"
-                f"Convert the provided text into an engaging, natural podcast conversation between two experts.\n\n"
+            
+            context_part = ""
+            if search_context:
+                context_part = f"# Latest Information:\n{search_context}\n"
+            
+            base_prompt = (
+                f"# Content:\n{text}\n\n"
+                f"{context_part}"
+                f"Create a podcast conversation.\n\n"
                 f"Guidelines:\n"
-                f"1. Alex (Host): Curious, engaging personality representing audience questions\n"
-                f"2. Jordan (Expert): Knowledgeable but approachable, explains complex topics simply\n"
-                f"3. Use natural conversational English with appropriate reactions ('Wow', 'That's interesting', 'Really?')\n"
-                f"4. Include concrete examples and relatable analogies\n"
-                f"5. Each response should be substantial (minimum 3-4 sentences)\n"
-                f"6. Create at least 10 back-and-forth exchanges\n"
-                f"7. Address common questions and misconceptions\n"
-                f"8. Maintain an informative yet entertaining tone\n"
-                f"9. End with key takeaways and practical advice\n\n"
-                f"Return ONLY the JSON in this format:\n{template}"
+                f"- Alex (Host) and Jordan (Expert)\n"
+                f"- Natural conversational English\n"
+                f"- Each response 2-3 sentences\n"
+                f"- 8-10 exchanges total\n"
+                f"- Include latest info if available\n\n"
+                f"Return JSON only:\n{template}"
             )
+            
+            return base_prompt
+
+
 
-    def _build_messages_for_local(self, text: str, language: str = "English") -> List[Dict]:
-        """Build messages for local LLM"""
+    def _build_messages_for_local(self, text: str, language: str = "English", search_context: str = "") -> List[Dict]:
+        """Build messages for local LLM with enhanced Korean guidelines"""
         if language == "Korean":
             system_message = (
-                "당신은 한국 최고의 ���캐스트 대본 작가입니다. "
-                "한국인의 정서와 문화를 완벽히 이해하고, 청취자들이 끝까지 집중할 수 있는 "
-                "매력적이고 유익한 대화를 만들어냅니다. "
-                "실제 한국인들이 일상에서 사용하는 자연스러운 표현과 "
-                "적절한 감정 표현을 통해 생동감 있는 대화를 구성합니다."
+                "당신은 한국 최고의 팟캐스트 대본 전문 작가입니다. "
+                "한국인의 정서와 문화를 완벽히 이해하고, 30대 한국인 청취자들이 끝까지 집중할 수 있는 "
+                "매력적이고 유익한 대화를 만들어냅니다.\n\n"
+                "핵심 원칙:\n"
+                "1. 두 화자는 반드시 서로에게 존댓말을 사용합니다 (반말 절대 금지)\n"
+                "2. 한국 문화의 정서적 코드와 가치관을 자연스럽게 반영합니다\n"
+                "3. 실제 한국인들이 일상에서 사용하는 자연스러운 표현을 구사합니다\n"
+                "4. 청취자가 공감하고 실용적으로 활용할 수 있는 내용을 제공합니다\n"
+                "5. 최신 정보와 트렌드를 적절히 반영하여 시의성을 확보합니다\n\n"
+                "당신의 대본은 한국 팟캐스트 시장에서 최고 수준의 품질로 인정받고 있습니다."
             )
         else:
             system_message = (
                 "You are an expert podcast scriptwriter who creates engaging, "
                 "natural conversations that keep listeners hooked. "
                 "You understand how to balance information with entertainment, "
-                "using real conversational patterns and authentic reactions."
+                "using real conversational patterns and authentic reactions. "
+                "You excel at incorporating current information and trends to make content relevant and timely."
             )
         
         return [
             {"role": "system", "content": system_message},
-            {"role": "user", "content": self._build_prompt(text, language)}
+            {"role": "user", "content": self._build_prompt(text, language, search_context)}
         ]
 
     @spaces.GPU(duration=120)
     def extract_conversation_local(self, text: str, language: str = "English", progress=None) -> Dict:
-        """Extract conversation using new local LLM (primary method)"""
+        """Extract conversation using new local LLM with search context"""
         try:
+            # 검색 컨텍스트 생성
+            search_context = ""
+            if BRAVE_KEY:
+                try:
+                    keywords = extract_keywords_for_search(text, language)
+                    if keywords:
+                        # 첫 번째 키워드로 검색
+                        search_query = keywords[0] if language == "Korean" else f"{keywords[0]} latest news"
+                        search_context = format_search_results(search_query)
+                        print(f"Search context added for: {search_query}")
+                except Exception as e:
+                    print(f"Search failed, continuing without context: {e}")
+            
             # 먼저 새로운 로컬 LLM 시도
             self.initialize_local_mode()
             
@@ -334,9 +439,11 @@ class UnifiedAudioConverter:
                     "당신은 한국어 팟캐스트 전문 작가입니다. "
                     "한국 청취자들의 문화적 맥락과 언어적 특성을 완벽히 이해하고, "
                     "자연스럽고 매력적인 대본을 작성합니다. "
+                    "특히 두 화자가 서로에게 존댓말을 사용하는 것이 필수이며, "
+                    "반말은 절대 사용하지 않습니다. "
                     "실제 한국인이 대화하는 것처럼 자연스러운 표현, 적절한 감탄사, "
                     "문화적으로 적합한 예시를 사용하여 청취자가 공감하고 몰입할 수 있는 "
-                    "대화를 만들어주세요. JSON 형식으로만 응답하세요."
+                    "대화를 만들어주세요. 최신 정보도 자연스럽게 반영하세요. JSON 형식으로만 응답하세요."
                 )
             else:
                 system_message = (
@@ -344,6 +451,7 @@ class UnifiedAudioConverter:
                     "engaging, natural conversations that captivate listeners. "
                     "You excel at transforming complex information into accessible, "
                     "entertaining dialogue while maintaining authenticity and educational value. "
+                    "Incorporate current trends and latest information naturally. "
                     "Respond only in JSON format."
                 )
 
@@ -364,7 +472,7 @@ class UnifiedAudioConverter:
 
             messages = BasicChatHistory()
             
-            prompt = self._build_prompt(text, language)
+            prompt = self._build_prompt(text, language, search_context)
             response = agent.get_chat_response(
                 prompt,
                 llm_sampling_settings=settings,
@@ -384,10 +492,10 @@ class UnifiedAudioConverter:
                 
         except Exception as e:
             print(f"Local LLM failed: {e}, falling back to legacy local method")
-            return self.extract_conversation_legacy_local(text, language, progress)
+            return self.extract_conversation_legacy_local(text, language, progress, search_context)
 
     @spaces.GPU(duration=120)
-    def extract_conversation_legacy_local(self, text: str, language: str = "English", progress=None) -> Dict:
+    def extract_conversation_legacy_local(self, text: str, language: str = "English", progress=None, search_context: str = "") -> Dict:
         """Extract conversation using legacy local model (fallback)"""
         try:
             self.initialize_legacy_local_mode()
@@ -397,17 +505,20 @@ class UnifiedAudioConverter:
                 system_message = (
                     "당신은 한국어 팟캐스트 전문 작가입니다. "
                     "30대 한국인 청취자를 대상으로 자연스럽고 흥미로운 대화를 만들어주세요. "
-                    "실제 사용하는 한국어 표현과 문화적 맥락을 반영하여 작성해주세요."
+                    "두 화자는 반드시 서로에게 존댓말을 사용하며, 반말은 절대 사용하지 않습니다. "
+                    "실제 사용하는 한국어 표현과 문화적 맥락을 반영하여 작성해주세요. "
+                    "최신 정보도 자연스럽게 포함시켜주세요."
                 )
             else:
                 system_message = (
                     "You are an expert podcast scriptwriter. "
-                    "Create natural, engaging conversations that inform and entertain listeners."
+                    "Create natural, engaging conversations that inform and entertain listeners. "
+                    "Incorporate current information and trends naturally."
                 )
 
             chat = [
                 {"role": "system", "content": system_message},
-                {"role": "user", "content": self._build_prompt(text, language)}
+                {"role": "user", "content": self._build_prompt(text, language, search_context)}
             ]
 
             terminators = [
@@ -450,14 +561,14 @@ class UnifiedAudioConverter:
                 
         except Exception as e:
             print(f"Legacy local model also failed: {e}")
-            # Return default template with Korean male names
+            # Return default template with Korean male names using formal speech
             if language == "Korean":
                 return {
                     "conversation": [
-                        {"speaker": "준수", "text": "안녕하세요, 여러분! 오늘도 저희 팟캐스트를 찾아주셔서 정말 감사합니다."},
-                        {"speaker": "민호", "text": "안녕하세요! 오늘은 정말 흥미로운 주제를 준비했는데요, 함께 이야기 나눠보시죠."},
-                        {"speaker": "준수", "text": "네, 정말 기대되는데요. 청취자 여러분들도 궁금해하실 것 같아요."},
-                        {"speaker": "민호", "text": "맞아요. 그럼 본격적으로 시작해볼까요?"}
+                        {"speaker": "준수", "text": "안녕하세요, 여러분! 오늘도 저희 팟캐스트를 찾아주셔서 정말 감사합니다. 민호씨, 오늘 정말 흥미로운 주제를 준비해주셨다고 들었어요."},
+                        {"speaker": "민호", "text": "네, 안녕하세요! 준수씨 말씀처럼 오늘은 정말 흥미로운 이야기를 준비했습니다. 청취자 여러분들께서도 많은 관심을 가지고 계실 주제인 것 같아요."},
+                        {"speaker": "준수", "text": "정말 기대되는데요. 그런데 민호씨, 이 주제가 요즘 왜 이렇게 화제가 되고 있는 건가요? 청취자 여러분들도 궁금해하실 것 같아요."},
+                        {"speaker": "민호", "text": "좋은 질문이세요, 준수씨. 사실 최근에 이 분야에 많은 변화가 있었거든요. 그럼 본격적으로 하나씩 차근차근 설명해드릴게요."}
                     ]
                 }
             else:
@@ -471,30 +582,44 @@ class UnifiedAudioConverter:
                 }
 
     def extract_conversation_api(self, text: str, language: str = "English") -> Dict:
-        """Extract conversation using API (fallback method)"""
+        """Extract conversation using API with search context"""
         if not self.llm_client:
             raise RuntimeError("API mode not initialized")
 
         try:
+            # 검색 컨텍스트 생성
+            search_context = ""
+            if BRAVE_KEY:
+                try:
+                    keywords = extract_keywords_for_search(text, language)
+                    if keywords:
+                        search_query = keywords[0] if language == "Korean" else f"{keywords[0]} latest news"
+                        search_context = format_search_results(search_query)
+                        print(f"Search context added for: {search_query}")
+                except Exception as e:
+                    print(f"Search failed, continuing without context: {e}")
+
             # 강화된 언어별 프롬프트 구성
             if language == "Korean":
                 system_message = (
                     "당신은 한국어 팟캐스트 전문 작가입니다. "
                     "한국 청취자들의 문화적 맥락과 언어적 특성을 완벽히 이해하고, "
                     "자연스럽고 매력적인 대본을 작성합니다. "
-                    "준수(진행자)와 민호(전문가)라는 두 명의 30대 남성이 대화하는 형식으로 작성하세요."
+                    "준수(진행자)와 민호(전문가)라는 두 명의 30대 남성이 서로에게 존댓말을 사용하여 대화하는 형식으로 작성하세요. "
+                    "반말은 절대 사용하지 않으며, 최신 정보도 자연스럽게 반영하세요."
                 )
             else:
                 system_message = (
                     "You are an expert podcast scriptwriter who creates engaging, "
                     "natural conversations between Alex (host) and Jordan (expert). "
-                    "Create informative yet entertaining dialogue that keeps listeners engaged."
+                    "Create informative yet entertaining dialogue that keeps listeners engaged. "
+                    "Incorporate current trends and latest information naturally."
                 )
 
             chat_completion = self.llm_client.chat.completions.create(
                 messages=[
                     {"role": "system", "content": system_message},
-                    {"role": "user", "content": self._build_prompt(text, language)}
+                    {"role": "user", "content": self._build_prompt(text, language, search_context)}
                 ],
                 model=self.config.api_model_name,
             )
@@ -905,6 +1030,7 @@ with gr.Blocks(theme='soft', title="URL/PDF to Podcast Converter") as demo:
         - **Fallback**: API LLM ({converter.config.api_model_name}) - Used when local fails
         - **Status**: {"✅ Llama CPP Available" if LLAMA_CPP_AVAILABLE else "❌ Llama CPP Not Available - Install llama-cpp-python"}
         - **Max Tokens**: {converter.config.max_tokens} (Extended for longer conversations)
+        - **Search**: {"✅ Brave Search Enabled" if BRAVE_KEY else "❌ Brave Search Not Available - Set BSEARCH_API"}
         """)
     
     with gr.Row():
@@ -968,7 +1094,8 @@ with gr.Blocks(theme='soft', title="URL/PDF to Podcast Converter") as demo:
                 
                 **한국어 지원:**
                 - 🇰🇷 한국어 선택 시 Edge-TTS만 사용 가능합니다
-                - 👨‍👨 한국어 대화는 준수(진행자)와 민호(전문가) 두 남성이 진행합니다
+                - 👨‍👨 한국어 대화는 준수(진행자)와 민호(전문가) 두 남성이 존댓말로 진행합니다
+                - 🔍 **최신 정보 반영**: Brave Search를 통해 최신 시사 내용을 자동으로 검색하여 대본에 반영합니다
                 """)
     
     convert_btn = gr.Button("🎯 Generate Conversation / 대화 생성", variant="primary", size="lg")
@@ -977,10 +1104,10 @@ with gr.Blocks(theme='soft', title="URL/PDF to Podcast Converter") as demo:
         with gr.Column():
             conversation_output = gr.Textbox(
                 label="Generated Conversation (Editable) / 생성된 대화 (편집 가능)",
-                lines=20,  # 더 긴 대화를 위해 증가
-                max_lines=40,
+                lines=25,  # 더 긴 대화를 위해 증가
+                max_lines=50,
                 interactive=True,
-                placeholder="Generated conversation will appear here. You can edit it before generating audio.\n생성된 대화가 여기에 표시됩니다. 오디오 생성 전에 편집할 수 있습니다.",
+                placeholder="Generated conversation will appear here. You can edit it before generating audio.\n생성된 대화가 여기에 표시됩니다. 오디오 생성 전에 편집할 수 있습니다.\n\n한국어 대화는 존댓말로 진행되며 최신 시사 내용이 반영됩니다.",
                 info="Edit the conversation as needed. Format: 'Speaker Name: Text' / 필요에 따라 대화를 편집하세요. 형식: '화자 이름: 텍스트'"
             )