Update app.py

app.py

@@ -72,13 +72,12 @@ def setup_session():
     
     # 재시도 설정
     retries = Retry(
-        total=5,  # 총 재시도 횟수
-        backoff_factor=1,  # 재시도 간 대기 시간 계수
-        status_forcelist=[500, 502, 503, 504],  # 재시도할 HTTP 상태 코드
-        allowed_methods=["GET", "HEAD", "OPTIONS"]  # 재시도할 HTTP 메서드
+        total=5,
+        backoff_factor=1,
+        status_forcelist=[500, 502, 503, 504],
+        allowed_methods=["GET", "HEAD", "OPTIONS"]
     )
     
-    # 기본 헤더 설정
     session.headers.update({
         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
         'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7',
@@ -94,14 +93,13 @@ def setup_session():
         'Sec-Fetch-User': '?1',
         'Upgrade-Insecure-Requests': '1',
         'Cache-Control': 'max-age=0',
-        'DNT': '1'  # Do Not Track 요청
+        'DNT': '1'
     })
     
-    # HTTPS 어댑터 설정
     adapter = HTTPAdapter(
         max_retries=retries,
-        pool_connections=100,  # 연결 풀 크기
-        pool_maxsize=100      # 최대 연결 수
+        pool_connections=100,
+        pool_maxsize=100
     )
     session.mount('https://', adapter)
     session.mount('http://', adapter)
@@ -119,7 +117,7 @@ def get_base_url(board_select):
     }
     selected_url = urls.get(board_select)
     if not selected_url:
-        logging.warning(f"Invalid board selected: {board_select}")
+        logger.warning(f"Invalid board selected: {board_select}")
         return "Invalid board selected"
     return selected_url
 
@@ -143,8 +141,8 @@ def extract_data_to_excel_and_html(page, board_select, custom_url=""):
             return None, "<p>페이지 수는 1-50 사이여야 합니다.</p>"
         
         session = setup_session()
-        # 사용자가 직접 링크를 입력한 경우, 해당 링크를 base_url로 사용
-        if custom_url.strip():
+        # 직접 입력을 선택한 경우 custom_url 사용
+        if board_select == "직접입력" and custom_url.strip():
             base_url = custom_url.strip()
             filename = f'custom_{datetime.now(pytz.timezone("Asia/Seoul")).strftime("%Y%m%d_%H%M%S")}.xlsx'
         else:
@@ -165,17 +163,11 @@ def extract_data_to_excel_and_html(page, board_select, custom_url=""):
             'border': 1
         })
         
-        data_format = workbook.add_format({
-            'align': 'left',
-            'valign': 'vcenter',
-            'border': 1
-        })
-        
         link_format = workbook.add_format({
             'align': 'left',
             'valign': 'vcenter',
             'border': 1,
-            'font_color': '#0066cc',  # 수정: 'color' -> 'font_color'
+            'font_color': '#0066cc',
             'underline': True
         })
         
@@ -197,7 +189,6 @@ def extract_data_to_excel_and_html(page, board_select, custom_url=""):
         for col, header in enumerate(headers):
             worksheet.write(0, col, header, header_format)
         
-        # 필터 추가
         worksheet.autofilter(0, 0, 0, len(headers) - 1)
         
         # HTML 테이블 시작
@@ -271,12 +262,10 @@ def extract_data_to_excel_and_html(page, board_select, custom_url=""):
         
         for p in range(1, page + 1):
             try:
-                # 기본 URL에 페이지 번호 파라미터 추가
                 url = f"{base_url}&search.page={p}"
                 logger.info(f"[CRAWL] Fetching page {p}: {url}")
                 response = session.get(url)
-                delay = random.uniform(0.5, 1.0)
-                time.sleep(delay)
+                time.sleep(random.uniform(0.5, 1.0))
                 
                 if response.status_code != 200:
                     logger.error(f"[CRAWL] Failed to fetch page {p}. Status code: {response.status_code}")
@@ -310,7 +299,6 @@ def extract_data_to_excel_and_html(page, board_select, custom_url=""):
                         likes = int(row_data.find('td', class_='td_likes').get_text(strip=True).replace(",", ""))
                         date = row_data.find('td', class_='td_date').get_text(strip=True)
                         
-                        # 댓글수 추출
                         comment_tag = row_data.find('a', class_='cmt')
                         comments = 0
                         if comment_tag and comment_tag.find('em'):
@@ -319,14 +307,12 @@ def extract_data_to_excel_and_html(page, board_select, custom_url=""):
                         if ":" in date:
                             date = current_date
                         
-                        # Excel 데이터 작성
                         worksheet.write_url(row, 0, full_link, link_format, title)
                         worksheet.write(row, 1, date, date_format)
                         worksheet.write_number(row, 2, views, number_format)
                         worksheet.write_number(row, 3, likes, number_format)
                         worksheet.write_number(row, 4, comments, number_format)
                         
-                        # HTML 테이블 데이터 추가
                         html_output += f"""    <tr>
         <td><a href='{full_link}' target='_blank'>{title}</a></td>
         <td>{date}</td>
@@ -366,11 +352,18 @@ def crawl_with_progress(board, pages, custom_url):
     try:
         excel_file, html_output = extract_data_to_excel_and_html(pages, board, custom_url)
         if excel_file:
-            return excel_file, html_output, "수집 완료"  # status 메시지 추가
+            return excel_file, html_output, "수집 완료"
         else:
-            return None, "", "수집 실패"  # 실패시에도 3개 값 반환
+            return None, "", "수집 실패"
     except Exception as e:
-        return None, "", f"오류 발생: {str(e)}"  # 예외 발생시에도 3개 값 반환
+        return None, "", f"오류 발생: {str(e)}"
+
+def update_custom_url_visibility(selected):
+    # "직접입력" 선택 시 직접 링크 입력 텍스트박스를 보이도록 함
+    if selected == "직접입력":
+        return gr.update(visible=True)
+    else:
+        return gr.update(visible=False)
 
 css = """
 /* 전체 컨테이너 스타일링 */
@@ -515,21 +508,20 @@ tr:hover {
 with gr.Blocks(css=css) as demo:
     gr.Markdown("# N사 Cafe 핫딜 게시판 크롤링")
     gr.Markdown("""
-    페이지 수를 입력하거나, 직접 URL을 입력하시면 결과를 출력합니다.
-    (게시판 선택은 기본 URL을 사용합니다. 직접 URL 입력시 해당 링크로 수집합니다.)
-    최대 페이지수는 50페이지 입니다.
+    페이지 수를 입력하거나, 게시판 선택 시 '직접입력'을 선택하면 직접 URL을 입력할 수 있습니다.
+    (최대 페이지수는 50페이지 입니다.)
     """)
     
     with gr.Row():
         board_select = gr.Radio(
-            choices=["맘이베베", "맘스홀릭", "광주맘", "쇼핑지름신", "부산맘", "진희맘"],
-            label="게시판을 선택하세요 (직접 링크 입력이 없을 경우)",
+            choices=["맘이베베", "맘스홀릭", "광주맘", "쇼핑지름신", "부산맘", "진희맘", "직접입력"],
+            label="게시판을 선택하세요",
             container=True
         )
         
     with gr.Row():
         inp = gr.Number(
-            label="수집할 페이지 수를 입력하세요 (최대 50페이지)",
+            label="수집할 페이지 수 (최대 50페이지)",
             value=1,
             minimum=1,
             maximum=50,
@@ -540,9 +532,13 @@ with gr.Blocks(css=css) as demo:
         custom_url = gr.Textbox(
             label="직접 링크 입력 (옵션)",
             placeholder="예: https://cafe.naver.com/ArticleList.nhn?...",
+            visible=False,  # 기본은 숨김
             container=True
         )
     
+    # board_select 값이 변경될 때 직접입력 선택시 custom_url 보이도록 업데이트
+    board_select.change(fn=update_custom_url_visibility, inputs=board_select, outputs=custom_url)
+    
     status = gr.Textbox(
         label="상태",
         value="대기 중...",