Update app-backup2.py

app-backup2.py

@@ -9,6 +9,7 @@ from requests.adapters import HTTPAdapter
 from requests.packages.urllib3.util.retry import Retry
 from openai import OpenAI
 from bs4 import BeautifulSoup
+import re  # re 모듈 추가
 
 ACCESS_TOKEN = os.getenv("HF_TOKEN")
 if not ACCESS_TOKEN:
@@ -46,6 +47,7 @@ API_KEY = os.getenv("SERPHOUSE_API_KEY")
 # 국가별 언어 코드 매핑
 COUNTRY_LANGUAGES = {
     "United States": "en",
+    "KOREA": "ko",
     "United Kingdom": "en",
     "Taiwan": "zh-TW",  
     "Canada": "en",
@@ -116,6 +118,7 @@ COUNTRY_LANGUAGES = {
 
 COUNTRY_LOCATIONS = {
     "United States": "United States",
+    "KOREA": "kr",
     "United Kingdom": "United Kingdom",
     "Taiwan": "Taiwan",
     "Canada": "Canada",
@@ -187,6 +190,7 @@ COUNTRY_LOCATIONS = {
 # 지역 정의
 # 동아시아 지역
 COUNTRY_LANGUAGES_EAST_ASIA = {
+    "KOREA": "ko",    
     "Taiwan": "zh-TW",  
     "Japan": "ja",
     "China": "zh",
@@ -194,6 +198,7 @@ COUNTRY_LANGUAGES_EAST_ASIA = {
 }
 
 COUNTRY_LOCATIONS_EAST_ASIA = {
+    "KOREA": "KOREA",    
     "Taiwan": "Taiwan",  
     "Japan": "Japan",
     "China": "China",
@@ -720,7 +725,6 @@ def search_global(query, region, articles_state_global):
 css = """
 /* 전역 스타일 */
 footer {visibility: hidden;}
-
 /* 레이아웃 컨테이너 */
 #status_area {
     background: rgba(255, 255, 255, 0.9);
@@ -729,40 +733,33 @@ footer {visibility: hidden;}
     margin-bottom: 20px;
     box-shadow: 0 2px 5px rgba(0,0,0,0.1);
 }
-
 #results_area {
     padding: 10px;
     margin-top: 10px;
 }
-
 /* 탭 스타일 */
 .tabs {
     border-bottom: 2px solid #ddd !important;
     margin-bottom: 20px !important;
 }
-
 .tab-nav {
     border-bottom: none !important;
     margin-bottom: 0 !important;
 }
-
 .tab-nav button {
     font-weight: bold !important;
     padding: 10px 20px !important;
 }
-
 .tab-nav button.selected {
     border-bottom: 2px solid #1f77b4 !important;
     color: #1f77b4 !important;
 }
-
 /* 상태 메시지 */
 #status_area .markdown-text {
     font-size: 1.1em;
     color: #2c3e50;
     padding: 10px 0;
 }
-
 /* 기본 컨테이너 */
 .group {
     border: 1px solid #eee;
@@ -771,19 +768,16 @@ footer {visibility: hidden;}
     border-radius: 5px;
     background: white;
 }
-
 /* 버튼 스타일 */
 .primary-btn {
     background: #1f77b4 !important;
     border: none !important;
 }
-
 /* 입력 필드 */
 .textbox {
     border: 1px solid #ddd !important;
     border-radius: 4px !important;
 }
-
 /* 프로그레스바 컨테이너 */
 .progress-container {
     position: fixed;
@@ -794,7 +788,6 @@ footer {visibility: hidden;}
     background: #e0e0e0;
     z-index: 1000;
 }
-
 /* 프로그레스바 */
 .progress-bar {
     height: 100%;
@@ -803,7 +796,6 @@ footer {visibility: hidden;}
     transition: width 0.3s ease;
     animation: progress-glow 1.5s ease-in-out infinite;
 }
-
 /* 프로그레스 텍스트 */
 .progress-text {
     position: fixed;
@@ -818,7 +810,6 @@ footer {visibility: hidden;}
     z-index: 1001;
     box-shadow: 0 2px 5px rgba(0,0,0,0.2);
 }
-
 /* 프로그레스바 애니메이션 */
 @keyframes progress-glow {
     0% {
@@ -831,7 +822,6 @@ footer {visibility: hidden;}
         box-shadow: 0 0 5px rgba(33, 150, 243, 0.5);
     }
 }
-
 /* 반응형 디자인 */
 @media (max-width: 768px) {
     .group {
@@ -844,32 +834,27 @@ footer {visibility: hidden;}
         padding: 3px 10px;
     }
 }
-
 /* 로딩 상태 표시 개선 */
 .loading {
     opacity: 0.7;
     pointer-events: none;
     transition: opacity 0.3s ease;
 }
-
 /* 결과 컨테이너 애니메이션 */
 .group {
     transition: all 0.3s ease;
     opacity: 0;
     transform: translateY(20px);
 }
-
 .group.visible {
     opacity: 1;
     transform: translateY(0);
 }
-
 /* Examples 스타일링 */
 .examples-table {
     margin-top: 10px !important;
     margin-bottom: 20px !important;
 }
-
 .examples-table button {
     background-color: #f0f0f0 !important;
     border: 1px solid #ddd !important;
@@ -878,13 +863,11 @@ footer {visibility: hidden;}
     margin: 2px !important;
     transition: all 0.3s ease !important;
 }
-
 .examples-table button:hover {
     background-color: #e0e0e0 !important;
     transform: translateY(-1px) !important;
     box-shadow: 0 2px 5px rgba(0,0,0,0.1) !important;
 }
-
 .examples-table .label {
     font-weight: bold !important;
     color: #444 !important;
@@ -898,85 +881,100 @@ def get_article_content(url):
         headers = {
             'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
         }
-        response = requests.get(url, headers=headers)
+        session = requests.Session()
+        retries = Retry(total=3, backoff_factor=0.5)
+        session.mount('https://', HTTPAdapter(max_retries=retries))
+        
+        response = session.get(url, headers=headers, timeout=30)
+        response.raise_for_status()
         soup = BeautifulSoup(response.content, 'html.parser')
         
+        # 메타 데이터 추출
+        title = soup.find('meta', property='og:title') or soup.find('title')
+        title = title.get('content', '') if hasattr(title, 'get') else title.string if title else ''
+        
+        description = soup.find('meta', property='og:description') or soup.find('meta', {'name': 'description'})
+        description = description.get('content', '') if description else ''
+        
+        # 본문 추출 개선
+        article_content = ''
+        
         # 일반적인 기사 본문 컨테이너 검색
-        article_body = None
-        possible_content_elements = [
-            soup.find('article'),
-            soup.find('div', class_='article-body'),
-            soup.find('div', class_='content'),
-            soup.find('div', {'id': 'article-body'})
+        content_selectors = [
+            'article', '.article-body', '.article-content', '#article-body',
+            '.story-body', '.post-content', '.entry-content', '.content-body',
+            '[itemprop="articleBody"]', '.story-content'
         ]
         
-        for element in possible_content_elements:
-            if element:
-                article_body = element
-                break
+        for selector in content_selectors:
+            content = soup.select_one(selector)
+            if content:
+                # 불필요한 요소 제거
+                for tag in content.find_all(['script', 'style', 'nav', 'header', 'footer', 'aside']):
+                    tag.decompose()
+                
+                # 단락 추출
+                paragraphs = content.find_all(['p', 'h1', 'h2', 'h3', 'h4', 'h5', 'h6'])
+                if paragraphs:
+                    article_content = '\n\n'.join([p.get_text().strip() for p in paragraphs if p.get_text().strip()])
+                    break
         
-        if article_body:
-            # 불필요한 요소 제거
-            for tag in article_body.find_all(['script', 'style', 'nav', 'header', 'footer']):
-                tag.decompose()
-            
-            content = ' '.join([p.get_text().strip() for p in article_body.find_all('p') if p.get_text().strip()])
-        else:
-            content = ' '.join([p.get_text().strip() for p in soup.find_all('p') if p.get_text().strip()])
+        # 백업 방법: 모든 단락 추출
+        if not article_content:
+            paragraphs = soup.find_all('p')
+            article_content = '\n\n'.join([p.get_text().strip() for p in paragraphs if len(p.get_text().strip()) > 50])
+        
+        # 최종 콘텐츠 구성
+        full_content = f"Title: {title}\n\nDescription: {description}\n\nContent:\n{article_content}"
+        
+        # 텍스트 정제
+        full_content = re.sub(r'\s+', ' ', full_content)  # 연속된 공백 제거
+        full_content = re.sub(r'\n\s*\n', '\n\n', full_content)  # 연속된 빈 줄 제거
+        
+        return full_content.strip()
         
-        return content
     except Exception as e:
+        print(f"Crawling error details: {str(e)}")  # 디버깅을 위한 상세 에러 출력
         return f"Error crawling content: {str(e)}"
 
-def respond(
-    url,
-    history: list[tuple[str, str]],
-    system_message,
-    max_tokens,
-    temperature,
-    top_p,
-):
+def respond(url, history, system_message, max_tokens, temperature, top_p):
     if not url.startswith('http'):
         history.append((url, "올바른 URL을 입력해주세요."))
         return history
 
     try:
-        # 기사 내용 추출
         article_content = get_article_content(url)
         
-        # 2단계 프로세스를 위한 프롬프트 구성
-        translation_prompt = f"""다음 작업을 순차적으로 수행하세요:
-
-        1단계: 번역
-        아래 영문 기사를 한국어로 정확하게 번역하세요.
-        구분선: ===번역 시작===
-        {article_content}
-        구분선: ===번역 끝===
-
-        2단계: 기사 작성
-        위의 번역된 내용을 바탕으로 새로운 한국어 기사를 작성하세요.
-        다음 형식을 반드시 준수하세요:
-        - 제목: [헤드라인]
-        - 부제: [서브헤드라인]
-        - 본문: [기사 내용]
-        - 작성 규칙:
-          * 문장은 '다.'로 끝나야 함
-          * 신문 기사 형식 준수
-          * 단락 구분을 명확히 할 것
-          * 핵심 정보를 앞부분에 배치
-          * 인용구는 따옴표로 처리
-
-        각 단계는 '===번역===', '===기사==='로 구분하여 출력하세요.
-        """
+        translation_prompt = f"""다음 영문 기사를 한국어로 번역하고 기사를 작성해주세요.
+1단계: 전문 번역
+===번역 시작===
+{article_content}
+===번역 끝===
+2단계: 기사 작성 가이드라인
+다음 요구사항에 따라 한국어 기사를 작성하세요:
+1. 구조
+- 헤드라인: 핵심 내용을 담은 강력한 제목
+- 부제목: 헤드라인 보완 설명
+- 리드문: 기사의 핵심을 요약한 첫 문단
+- 본문: 상세 내용 전개
+2. 작성 규칙
+- 객관적이고 정확한 사실 전달
+- 문장은 '다.'로 종결
+- 단락 간 자연스러운 흐름
+- 인용구는 따옴표 처리
+- 핵심 정보를 앞부분에 배치
+- 전문 용어는 적절한 설명 추가
+3. 형식
+- 적절한 단락 구분
+- 읽기 쉬운 문장 길이
+- 논리적인 정보 구성
+각 단계는 '===번역===', '===기사==='로 명확히 구분하여 출력하세요.
+"""
 
         messages = [
             {
-                "role": "system", 
-                "content": """당신은 전문 번역가이자 기자입니다. 
-                모든 작업은 반드시 다음 두 단계로 진행하고, 각 단계를 명확히 구분하여 출력해야 합니다:
-                1. 원문 번역: ===번역=== 표시 후 정확한 한국어 번역 제공
-                2. 기사 작성: ===기사=== 표시 후 번역본을 기반으로 한국어 뉴스 기사 작성
-                두 단계를 건너뛰거나 통합하지 말고 반드시 순차적으로 진행하세요."""
+                "role": "system",
+                "content": system_message
             },
             {"role": "user", "content": translation_prompt}
         ]
@@ -984,8 +982,6 @@ def respond(
         history.append((url, "번역 및 기사 작성을 시작합니다..."))
         
         full_response = ""
-        current_section = ""
-        
         for message in client.chat.completions.create(
             model="CohereForAI/c4ai-command-r-plus-08-2024",
             max_tokens=max_tokens,
@@ -998,11 +994,6 @@ def respond(
                 token = message.choices[0].delta.content
                 if token:
                     full_response += token
-                    # 섹션 구분자 확인 및 포맷팅
-                    if "===번역===" in token or "===기사===" in token:
-                        current_section = token.strip()
-                        full_response += "\n\n"
-                    
                     history[-1] = (url, full_response)
                     yield history
 
@@ -1120,7 +1111,8 @@ with gr.Blocks(theme="Yntec/HaleyCH_Theme_Orange", css=css, title="NewsAI 서비
     # AI 번역 탭 추가
         with gr.Tab("AI 기사 생성"):
             gr.Markdown("뉴스 URL을 입력하면 AI가 한국어로 번역하여 기사 형식으로 작성합니다.")
-        
+            gr.Markdown("이미지 생성: https://huggingface.co/spaces/ginipick/FLUXllama ")
+            
             with gr.Column():
                 chatbot = gr.Chatbot(height=600)
             
@@ -1129,32 +1121,44 @@ with gr.Blocks(theme="Yntec/HaleyCH_Theme_Orange", css=css, title="NewsAI 서비
                         label="뉴스 URL",
                         placeholder="https://..."
                     )
-            
+
                 with gr.Accordion("고급 설정", open=False):
+
                     system_message = gr.Textbox(
-                        value="""You are a professional translator and journalist. Follow these steps strictly:
-                        1. TRANSLATION
-                        - Start with ===번역=== marker
-                        - Provide accurate Korean translation
-                        - Maintain original meaning and context
-    
-                        2. ARTICLE WRITING
-                        - Start with ===기사=== marker
-                        - Write a new Korean news article based on the translation
-                        - Follow newspaper article format
-                        - Use formal news writing style
-                        - End sentences with '다.'
-                        - Include headline and subheadline
-                        - Organize paragraphs clearly
-                        - Put key information first
-                        - Use quotes appropriately
-        
-                        IMPORTANT:
-                        - Must complete both steps in order
-                        - Clearly separate each section with markers
-                        - Never skip or combine steps""",
-                        label="System message"
-                    )
+                         value="""You are a professional translator and journalist. Follow these steps strictly:
+                         1. TRANSLATION
+                         - Start with ===번역=== marker
+                         - Provide accurate Korean translation
+                         - Maintain original meaning and context
+                         2. ARTICLE WRITING
+                         - Start with ===기사=== marker
+                         - Write a new Korean news article based on the translation
+                         - Follow newspaper article format
+                         - Use formal news writing style
+                         - End sentences with '다.'
+                         - Include headline and subheadline
+                         - Organize paragraphs clearly
+                         - Put key information first
+                         - Use quotes appropriately
+                         
+                         3. IMAGE PROMPT GENERATION
+                         - Start with ===이미지 프롬프트=== marker
+                         - Create detailed Korean prompts for image generation
+                         - Prompts should reflect the article's main theme and content
+                         - Include key visual elements mentioned in the article
+                         - Specify style, mood, and composition
+                         - Format: "이미지 설명: [상세 설명]"
+                         - Add style keywords: "스타일: [관련 키워드들]"
+                         - Add mood keywords: "분위기: [관련 키워드들]"
+                         IMPORTANT:
+                         - Must complete all three steps in order
+                         - Clearly separate each section with markers
+                         - Never skip or combine steps
+                         - Ensure image prompts align with article content""",
+                         label="System message"
+                     )                    
+                    
+                
 
                     max_tokens = gr.Slider(
                         minimum=1,
@@ -1234,7 +1238,7 @@ iface.launch(
     server_name="0.0.0.0",
     server_port=7860,
     share=True,
-    auth=("ai","news"),
+    auth=("gini","pick"),
     ssl_verify=False,
     show_error=True
-)                 
+)