Update app-backup-HN.py

app-backup-HN.py

@@ -5,6 +5,11 @@ import os
 from datetime import datetime, timedelta
 from huggingface_hub import InferenceClient
 
+from bs4 import BeautifulSoup
+import concurrent.futures
+import time
+import re
+
 MAX_COUNTRY_RESULTS = 100    # 국가별 최대 결과 수
 MAX_GLOBAL_RESULTS = 1000    # 전세계 최대 결과 수
 
@@ -311,6 +316,9 @@ def serphouse_search(query, country):
     return format_results_from_raw(response_data)
 
 
+
+
+
 # Hacker News API 관련 함수들 먼저 추가
 def get_hn_item(item_id):
     """개별 아이템 정보 가져오기"""
@@ -351,47 +359,170 @@ def format_hn_time(timestamp):
     except:
         return "Unknown time"
 
+
+def clean_text(text):
+    """HTML 태그 제거 및 텍스트 정리"""
+    text = re.sub(r'\s+', ' ', text)
+    text = re.sub(r'<[^>]+>', '', text)
+    return text.strip()
+
+def get_article_content(url):
+    """URL에서 기사 내용 스크래핑"""
+    if not url or 'github.com' in url or 'twitter.com' in url:
+        return None
+        
+    try:
+        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'}
+        response = requests.get(url, headers=headers, timeout=10)
+        soup = BeautifulSoup(response.text, 'html.parser')
+        
+        # 불필요한 요소 제거
+        for tag in soup(['script', 'style', 'nav', 'footer', 'header']):
+            tag.decompose()
+            
+        paragraphs = soup.find_all('p')
+        text = ' '.join(p.get_text() for p in paragraphs)
+        text = clean_text(text)
+        
+        return text[:4000]  # 텍스트 길이 제한
+    except Exception as e:
+        print(f"Scraping error for {url}: {str(e)}")
+        return None
+
+def generate_summary(text):
+    """CohereForAI 모델을 사용한 요약 생성"""
+    if not text:
+        return None
+        
+    prompt = """반드시 한글(한국어)로 작성하라. Please analyze and summarize the following text in 2-3 sentences. 
+    Focus on the main points and key information:
+    Text: {text}
+    
+    Summary:"""
+    
+    try:
+        response = hf_client.text_generation(
+            prompt.format(text=text),
+            max_new_tokens=500,
+            temperature=0.5,
+            repetition_penalty=1.2
+        )
+        return response
+    except Exception as e:
+        print(f"Summary generation error: {str(e)}")
+        return None
+
+def process_hn_story(story, progress=None):
+    """개별 스토리 처리 및 요약"""
+    try:
+        url = story.get('url')
+        if not url:
+            return story, None
+            
+        content = get_article_content(url)
+        if not content:
+            return story, None
+            
+        summary_en = generate_summary(content)
+        if not summary_en:
+            return story, None
+            
+        summary_ko = translate_to_korean(summary_en)
+        return story, summary_ko
+        
+    except Exception as e:
+        print(f"Story processing error: {str(e)}")
+        return story, None
+
 def refresh_hn_stories():
-    """Hacker News 스토리 새로고침"""
+    """Hacker News 스토리 새로고침 (실시간 출력 버전)"""
     status_msg = "Hacker News 포스트를 가져오는 중..."
-    
     outputs = [gr.update(value=status_msg, visible=True)]
     
-    # 모든 컴포넌트 초기화
-    for _ in hn_article_components:
+    # 컴포넌트 초기화
+    for comp in hn_article_components:
         outputs.extend([
             gr.update(visible=False),
             gr.update(),
             gr.update()
         ])
     
+    yield outputs
+    
     # 최신 스토리 가져오기
     stories = get_recent_stories()
+    processed_count = 0
     
-    # 결과 업데이트
-    outputs = [gr.update(value=f"총 {len(stories)}개의 포스트를 찾았습니다.", visible=True)]
+    # 실시간 처리 및 출력을 위한 리스트
+    processed_stories = []
+    
+    with concurrent.futures.ThreadPoolExecutor(max_workers=10) as executor:
+        future_to_story = {executor.submit(process_hn_story, story): story 
+                          for story in stories[:100]}
+        
+        for future in concurrent.futures.as_completed(future_to_story):
+            story, summary = future.result()
+            processed_count += 1
+            
+            if summary:
+                # 새로운 결과를 리스트 맨 앞에 추가
+                processed_stories.insert(0, (story, summary))
+                
+                # 현재까지의 결과 출력
+                outputs = [gr.update(value=f"처리 중... ({processed_count}/{len(stories)})", visible=True)]
+                
+                # 모든 컴포넌트 업데이트
+                for idx, comp in enumerate(hn_article_components):
+                    if idx < len(processed_stories):
+                        current_story, current_summary = processed_stories[idx]
+                        outputs.extend([
+                            gr.update(visible=True),
+                            gr.update(value=f"### [{current_story.get('title', 'Untitled')}]({current_story.get('url', '#')})"),
+                            gr.update(value=f"""
+                            **작성자:** {current_story.get('by', 'unknown')} | 
+                            **시간:** {format_hn_time(current_story.get('time', 0))} | 
+                            **점수:** {current_story.get('score', 0)} | 
+                            **댓글:** {len(current_story.get('kids', []))}개\n
+                            **AI 요약:** {current_summary}
+                            """)
+                        ])
+                    else:
+                        outputs.extend([
+                            gr.update(visible=False),
+                            gr.update(),
+                            gr.update()
+                        ])
+                
+                yield outputs
+    
+    # 최종 상태 업데이트
+    final_outputs = [gr.update(value=f"총 {len(processed_stories)}개의 포스트가 처리되었습니다.", visible=True)]
     
     for idx, comp in enumerate(hn_article_components):
-        if idx < len(stories):
-            story = stories[idx]
-            outputs.extend([
+        if idx < len(processed_stories):
+            story, summary = processed_stories[idx]
+            final_outputs.extend([
                 gr.update(visible=True),
                 gr.update(value=f"### [{story.get('title', 'Untitled')}]({story.get('url', '#')})"),
-                gr.update(value=f"**작성자:** {story.get('by', 'unknown')} | **시간:** {format_hn_time(story.get('time', 0))} | **점수:** {story.get('score', 0)} | **댓글:** {len(story.get('kids', []))}개")
+                gr.update(value=f"""
+                **작성자:** {story.get('by', 'unknown')} | 
+                **시간:** {format_hn_time(story.get('time', 0))} | 
+                **점수:** {story.get('score', 0)} | 
+                **댓글:** {len(story.get('kids', []))}개\n
+                **AI 요약:** {summary}
+                """)
             ])
         else:
-            outputs.extend([
+            final_outputs.extend([
                 gr.update(visible=False),
                 gr.update(),
                 gr.update()
             ])
     
-    return outputs
-
+    yield final_outputs
         
 css = """
 footer {visibility: hidden;}
-
 #status_area {
     background: rgba(255, 255, 255, 0.9);  /* 약간 투명한 흰색 배경 */
     padding: 15px;
@@ -399,40 +530,33 @@ footer {visibility: hidden;}
     margin-bottom: 20px;
     box-shadow: 0 2px 5px rgba(0,0,0,0.1);  /* 부드러운 그림자 효과 */
 }
-
 #results_area {
     padding: 10px;
     margin-top: 10px;
 }
-
 /* 탭 스타일 개선 */
 .tabs {
     border-bottom: 2px solid #ddd !important;
     margin-bottom: 20px !important;
 }
-
 .tab-nav {
     border-bottom: none !important;
     margin-bottom: 0 !important;
 }
-
 .tab-nav button {
     font-weight: bold !important;
     padding: 10px 20px !important;
 }
-
 .tab-nav button.selected {
     border-bottom: 2px solid #1f77b4 !important;  /* 선택된 탭 강조 */
     color: #1f77b4 !important;
 }
-
 /* 검색 상태 메시지 스타일 */
 #status_area .markdown-text {
     font-size: 1.1em;
     color: #2c3e50;
     padding: 10px 0;
 }
-
 /* 검색 결과 컨테이너 스타일 */
 .group {
     border: 1px solid #eee;
@@ -441,13 +565,11 @@ footer {visibility: hidden;}
     border-radius: 5px;
     background: white;
 }
-
 /* 검색 버튼 스타일 */
 .primary-btn {
     background: #1f77b4 !important;
     border: none !important;
 }
-
 /* 검색어 입력창 스타일 */
 .textbox {
     border: 1px solid #ddd !important;
@@ -465,7 +587,7 @@ with gr.Blocks(theme="Nymbo/Nymbo_Theme", css=css, title="NewsAI 서비스") as
             with gr.Column():
                 with gr.Row():
                     query = gr.Textbox(label="검색어")
-                    country = gr.Dropdown(MAJOR_COUNTRIES, label="국가", value="South Korea")
+                    country = gr.Dropdown(MAJOR_COUNTRIES, label="국가", value="United States")
                 
                 status_message = gr.Markdown("", visible=True)
                 translated_query_display = gr.Markdown(visible=False)
@@ -525,23 +647,24 @@ with gr.Blocks(theme="Nymbo/Nymbo_Theme", css=css, title="NewsAI 서비스") as
                                 'index': i,
                             })
 
+
         # AI 리포터 탭
         with gr.Tab("AI 리포터"):
-            gr.Markdown("지난 24시간 동안의 Hacker News 포스트를 보여줍니다.")
-            
+            gr.Markdown("지난 24시간 동안의 Hacker News 포스트를 AI가 요약하여 보여줍니다.")
+    
             with gr.Column():
                 refresh_button = gr.Button("새로고침", variant="primary")
                 status_message_hn = gr.Markdown("")
                 
                 with gr.Column(elem_id="hn_results_area"):
                     hn_articles_state = gr.State([])
-                    
+            
                     hn_article_components = []
-                    for i in range(100):
+                    for i in range(100):  # 상위 20개 포스트만 처리
                         with gr.Group(visible=False) as article_group:
                             title = gr.Markdown()
                             info = gr.Markdown()
-                            
+                    
                             hn_article_components.append({
                                 'group': article_group,
                                 'title': title,
@@ -551,9 +674,6 @@ with gr.Blocks(theme="Nymbo/Nymbo_Theme", css=css, title="NewsAI 서비스") as
 
 
 
-
-
-
     
 # 기존 함수들
     def search_and_display(query, country, articles_state, progress=gr.Progress()):
@@ -750,4 +870,12 @@ with gr.Blocks(theme="Nymbo/Nymbo_Theme", css=css, title="NewsAI 서비스") as
         outputs=hn_outputs
     )
 
-iface.launch(auth=("it1","chosun1"))
+
+iface.launch(
+    server_name="0.0.0.0",
+    server_port=7860,
+    share=False,            # 외부 공유 비활성화
+    auth=("it1","chosun1"),
+    ssl_verify=False,       # SSL 검증 비활성화 (필요한 경우)
+    show_error=True         # 오류 메시지 표시
+)