Update app.py

app.py

@@ -638,106 +638,280 @@ class LLMCollaborativeSystem:
 # 🎯 기계학습 모델 성능 향상 최종 실행 보고서
 
 ## 📋 Executive Summary
-본 보고서는 웹 검색을 통해 수집된 최신 사례와 감독자 AI의 전략적 지침을 바탕으로, 8주간의 체계적인 모델 최적화 프로젝트를 제시합니다. 목표는 모델 크기 90% 감소, 추론 속도 10배 향상, 운영 비용 70% 절감입니다.
+
+본 보고서는 웹 검색을 통해 수집된 최신 사례와 감독자 AI의 전략적 지침을 바탕으로, 8주간의 체계적인 모델 최적화 프로젝트를 제시합니다.
+
+### 🎯 목표 달성 지표
+
+| 지표 | 현재 | 목표 | 개선율 |
+|------|------|------|--------|
+| 모델 크기 | 2.5GB | 250MB | 90% 감소 |
+| 추론 속도 | 45ms | 4.5ms | 10배 향상 |
+| 운영 비용 | $2,000/월 | $600/월 | 70% 절감 |
+| 정확도 | 92% | 90.5% | 1.5% 손실 |
 
 ## 📊 1단계: 현재 모델 진단 및 베이스라인 설정 (1주차)
 
 ### 실행 계획
+
 **월-화요일: 성능 메트릭 수집**
 - MLflow를 통한 현재 모델 전체 분석
-- Netflix 사례 기반 핵심 지표: 정확도(92%), 지연시간(45ms), 처리량(1,000 req/s)
+- Netflix 사례 기반 핵심 지표:
+  - 정확도: 92%
+  - 지연시간: 45ms
+  - 처리량: 1,000 req/s
+  - GPU 메모리: 8GB
 
 **수-목요일: AutoML 초기 탐색**
-- Optuna로 하이퍼파라미터 최적화 (200회 시도)
-- Ray Tune으로 분산 학습 환경 구축
+```python
+# Optuna 하이퍼파라미터 최적화 설정
+study = optuna.create_study(direction="maximize")
+study.optimize(objective, n_trials=200)
+
+# Ray Tune 분산 학습 설정
+analysis = tune.run(
+    train_model,
+    config=search_space,
+    num_samples=50,
+    resources_per_trial={"gpu": 1}
+)
+```
 
 ### 예상 산출물
-- 상세 성능 베이스라인 문서
-- 개선 기회 우선순위 매트릭스
+- ✅ 상세 성능 베이스라인 문서
+- ✅ 개선 기회 우선순위 매트릭스
+- ✅ 리스크 레지스터
 
 ## 📊 2단계: 데이터 품질 개선 (2-3주차)
 
 ### 실행 계획
-- 데이터 정제 파이프라인 구축
-- 고급 데이터 증강 기법 적용
-- A/B 테스트로 효과 검증
+
+**데이터 정제 파이프라인 구축**
+
+> 조사 결과의 "80% 규칙" 적용: 데이터 품질이 성능의 80%를 결정
+
+```python
+class DataQualityPipeline:
+    def __init__(self):
+        self.validators = [
+            MissingValueHandler(threshold=0.05),
+            OutlierDetector(method='isolation_forest'),
+            LabelConsistencyChecker(),
+            DataDriftMonitor()
+        ]
+    
+    def process(self, data):
+        for validator in self.validators:
+            data = validator.transform(data)
+            self.log_metrics(validator.get_stats())
+        return data
+```
+
+**고급 데이터 증강 기법**
+- **MixUp**: 15% 정확도 향상 예상
+- **CutMix**: 경계 검출 성능 20% 개선
+- **AutoAugment**: 자동 최적 증강 정책 탐색
+
+### 리스크 대응 전략
+
+| 리스크 | 확률 | 영향도 | 대응 방안 |
+|--------|------|--------|-----------|
+| 데이터 품질 저하 | 중간 | 높음 | 롤백 메커니즘 구현 |
+| 증강 과적합 | 낮음 | 중간 | 검증셋 분리 및 교차 검증 |
+| 처리 시간 증가 | 높음 | 낮음 | 병렬 처리 파이프라인 |
 
 ## 📊 3단계: 모델 최적화 구현 (4-6주차)
 
-### 실행 계획
-- Knowledge Distillation으로 모델 경량화
-- Pruning & Quantization 적용
-- TensorRT 최적화 (Tesla 사례 적용)
+### Knowledge Distillation 상세 계획
+
+**Teacher-Student 아키텍처**
+- Teacher 모델: 현재 2.5GB 모델
+- Student 모델 스펙:
+  - 파라미터: 250M → 25M (90% 감소)
+  - 레이어: 24 → 6
+  - Hidden dimension: 1024 → 256
+
+**훈련 전략**
+```python
+distillation_config = {
+    "temperature": 5.0,
+    "alpha": 0.7,  # KD loss weight
+    "beta": 0.3,   # Original loss weight
+    "epochs": 50,
+    "learning_rate": 1e-4,
+    "batch_size": 128
+}
+```
+
+### Pruning & Quantization
+
+**구조적 Pruning 계획**
+1. Magnitude 기반 중요도 평가
+2. 50% 채널 제거
+3. Fine-tuning: 10 에폭
+4. 성능 검증 및 반복
+
+**INT8 Quantization**
+- Post-training quantization 적용
+- Calibration dataset: 1,000 샘플
+- 예상 속도 향상: 4배
 
 ## 📊 4단계: 성과 검증 및 프로덕션 배포 (7-8주차)
 
-### 실행 계획
-- 종합 성능 검증 및 지표 달성도 확인
-- Canary 배포 전략 실행
-- 실시간 모니터링 체계 구축
+### 종합 성능 검증
+
+**성능 지표 달성도 검증**
+
+| 테스트 항목 | 방법 | 성공 기준 | 결과 |
+|-------------|------|-----------|------|
+| 추론 속도 | A/B 테스트 | <5ms | ✅ 4.5ms |
+| 정확도 | 홀드아웃 검증 | >90% | ✅ 90.5% |
+| 메모리 사용량 | 프로파일링 | <300MB | ✅ 250MB |
+| 처리량 | 부하 테스트 | >5000 req/s | ✅ 6000 req/s |
+
+### 단계적 배포 전략
 
-## 📝 결론
-본 프로젝트는 최신 연구 결��와 업계 베스트 프랙티스를 적용하여, 8주 만에 모델 성능을 획기적으로 개선하고 운영 비용을 70% 절감하는 성과를 달성할 것으로 예상됩니다.""",
+```mermaid
+graph LR
+    A[1% 트래픽] --> B[10% 트래픽]
+    B --> C[50% 트래픽]
+    C --> D[100% 전환]
+    
+    A -->|Day 1-3| B
+    B -->|Day 4-7| C
+    C -->|Day 8-14| D
+```
+
+### 모니터링 대시보드
+
+**핵심 메트릭**
+- 🔴 P99 지연시간: < 10ms
+- 🟡 오류율: < 0.1%
+- 🟢 CPU/GPU 사용률: < 80%
+
+## 💰 ROI 분석
+
+### 비용-효익 분석
+
+| 항목 | 비용/효익 | 세부 내역 |
+|------|-----------|-----------|
+| **초기 투자** | $50,000 | 인건비 + 인프라 |
+| **월간 절감액** | $14,000 | 서버 + GPU 비용 |
+| **투자 회수 기간** | 3.6개월 | - |
+| **1년 순이익** | $118,000 | 절감액 - 투자비 |
+
+### 장기 효과
+- 🚀 확장성 10배 향상
+- 💡 신규 서비스 출시 가능
+- 🌍 탄소 배출 70% 감소
+
+## 📈 지속적 개선 계획
+
+### 월간 모니터링
+- 성능 지표 리뷰
+- 사용자 피드백 분석
+- 기술 부채 관리
+
+### 분기별 업데이트
+- 모델 재훈련
+- 새로운 최적화 기법 도입
+- 벤치마크 업데이트
+
+### 차기 프로젝트 로드맵
+
+| 분기 | 프로젝트 | 예상 효과 |
+|------|----------|-----------|
+| Q2 2025 | 엣지 디바이스 배포 | 지연시간 90% 감소 |
+| Q3 2025 | 연합 학습 도입 | 프라이버시 강화 |
+| Q4 2025 | AutoML 플랫폼 구축 | 개발 속도 5배 향상 |
+
+## 📝 결론 및 권고사항
+
+### 핵심 성과
+- ✅ 모든 목표 지표 달성
+- ✅ 예산 내 프로젝트 완료
+- ✅ 리스크 성공적 관리
+
+### 향후 권고사항
+1. **즉시 실행**: 1-2단계 즉시 착수
+2. **팀 구성**: ML엔지니어 2명, DevOps 1명 필수
+3. **인프라 준비**: GPU 서버 사전 확보
+4. **변경 관리**: 이해관계자 사전 교육
+
+> 본 프로젝트는 최신 연구 결과와 업계 베스트 프랙티스를 적용하여, 8주 만에 모델 성능을 획기적으로 개선하고 운영 비용을 70% 절감하는 성과를 달성할 것으로 확신합니다.
+
+---
+*작성일: {datetime.now().strftime('%Y-%m-%d %H:%M:%S')}*
+*작성자: 협력적 AI 시스템 (감독자, 조사자, 실행자, 평가자 AI)*""",
                 
                 "evaluator": """## 📊 전체 협력 과정 평가 보고서
 
 ### 1️⃣ 품질 평가 (10점 만점)
 
-**감독자 AI: 9.5/10**
-- 거시적 관점에서 체계적인 분석과 방향 제시
-- 단계별 구체적인 지시사항 제공
-- 피드백이 건설적이고 실행 가능함
-
-**조사자 AI: 9.0/10**
-- 웹 검색을 통한 최신 정보 수집 우수
-- 신뢰도 평가와 모순 감지 기능 효과적
-- 출처 표기와 정보 정리가 체계적
+| AI 역할 | 점수 | 평가 내용 |
+|---------|------|-----------|
+| **감독자 AI** | 9.5/10 | 거시적 관점에서 체계적인 분석과 방향 제시 |
+| **조사자 AI** | 9.0/10 | 웹 검색을 통한 최신 정보 수집 우수 |
+| **실행자 AI** | 8.5/10 | 조사 내용을 잘 활용한 구체적 계획 수립 |
 
-**실행자 AI: 8.5/10**
-- 조사 내용을 잘 활용한 구체적 계획 수립
-- 실행 가능한 단계별 접근법 제시
-- 일부 세부사항에서 더 구체화 필요
+**상세 평가:**
+- ✅ 감독자 AI: 단계별 구체적인 지시사항 제공이 탁월함
+- ✅ 조사자 AI: 신뢰도 평가와 모순 감지 기능이 효과적
+- ✅ 실행자 AI: 실행 가능한 단계별 접근법 제시 우수
 
 ### 2️⃣ 협력 효과성 평가
 
 **강점:**
-- AI 간 역할 분담이 명확하고 상호보완적
-- 정보 흐름이 체계적이고 일관성 있음
-- 피드백 반영이 효과적으로 이루어짐
+- 🔄 AI 간 역할 분담이 명확하고 상호보완적
+- 📊 정보 흐름이 체계적이고 일관성 있음
+- ✨ 피드백 반영이 효과적으로 이루어짐
 
 **개선점:**
-- 실시간 상호작용 메커니즘 추가 고려
-- 중간 점검 단계 도입 필요
+- ⚡ 실시간 상호작용 메커니즘 추가 고려
+- 📋 중간 점검 단계 도입 필요
 
 ### 3️⃣ 정보 활용도 평가
 
+| 평가 항목 | 달성도 | 세부 내용 |
+|-----------|--------|-----------|
+| 검색 범위 | 95% | 20개 이상의 웹 소스에서 정보 수집 |
+| 신뢰도 평가 | 90% | 0.7 이상의 신뢰도 소스 우선 활용 |
+| 정보 통합 | 85% | 다양한 관점의 정보를 균형있게 통합 |
+
 **우수한 점:**
-- 20개 이상의 웹 소스에서 정보 수집
-- 신뢰도 기반 정보 선별 효과적
-- 실제 기업 사례 적절히 활용
+- ✅ 신뢰도 기반 정보 선별 효과적
+- ✅ 실제 기업 사례 적절히 활용
+- ✅ 최신 트렌드 반영 우수
 
 **보완 필요:**
-- 학술 논문 등 더 깊이 있는 자료 활용
-- 지역별/산업별 특성 고려 필요
+- 📚 학술 논문 등 더 깊이 있는 자료 활용
+- 🌍 지역별/산업별 특성 고려 필요
 
 ### 4️�� 향후 개선 방향
 
-1. **실시간 협업 강화**
+#### 1. **실시간 협업 강화**
    - AI 간 중간 체크포인트 추가
    - 동적 역할 조정 메커니즘 도입
 
-2. **정보 검증 강화**
+#### 2. **정보 검증 강화**
    - 교차 검증 프로세스 추가
    - 전문가 검토 단계 고려
 
-3. **맞춤화 강화**
+#### 3. **맞춤화 강화**
    - 사용자 컨텍스트 더 깊이 반영
    - 산업별/규모별 맞춤 전략 제공
 
-### 5️⃣ 최종 평점: ⭐⭐⭐⭐⭐ 9.0/10
+### 5️⃣ 최종 평점: ⭐⭐⭐⭐⭐ **9.0/10**
+
+> **종합 평가:**
+> 
+> 본 협력 시스템은 각 AI의 전문성을 효과적으로 활용하여 사용자 질문에 대한 종합적이고 실행 가능한 답변을 제공했습니다. 특히 웹 검색을 통한 최신 정보 활용과 단계적 피드백 반영이 우수했습니다.
+> 
+> 향후 실시간 협업과 맞춤화를 더욱 강화한다면 더욱 뛰어난 성과를 달성할 수 있을 것입니다.
 
-**종합 평가:**
-본 협력 시스템은 각 AI의 전문성을 효과적으로 활용하여 사용자 질문에 대한 종합적이고 실행 가능한 답변을 제공했습니다. 특히 웹 검색을 통한 최신 정보 활용과 단계적 피드백 반영이 우수했습니다. 향후 실시간 협업과 맞춤화를 더욱 강화한다면 더욱 뛰어난 성과를 달성할 수 있을 것입니다."""
+---
+
+**평가 완료 시각**: {datetime.now().strftime('%Y-%m-%d %H:%M:%S')}"""
             }
             
             # 프롬프트 내용에 따라 적절한 응답 선택
@@ -1104,7 +1278,19 @@ def process_query_streaming(user_query: str, llm_mode: str):
 2. 조사 내용을 최대한 구체적으로 활용하세요
 3. 실행 가능성을 높이는 세부 계획을 포함하세요
 4. 명확한 결론과 다음 단계를 제시하세요
-5. 전문적이고 완성도 높은 최종 보고서 형식으로 작성하세요"""
+5. 전문적이고 완성도 높은 최종 보고서 형식으로 작성하세요
+
+**중요: 마크다운 형식을 적극 활용하세요**
+- 제목은 #, ##, ### 을 사용하여 계층적으로 구성
+- 중요한 내용은 **굵게** 표시
+- 리스트는 -, * 또는 1. 2. 3. 형식 사용
+- 표가 필요한 경우 마크다운 표 형식 사용:
+  | 항목 | 내용 | 비고 |
+  |------|------|------|
+  | 예시1 | 설명1 | 참고1 |
+- 코드는 ``` 로 감싸서 표시
+- 인용구는 > 를 사용
+- 구분선은 --- 사용"""
         
         final_executor_response = ""
         
@@ -1121,30 +1307,43 @@ def process_query_streaming(user_query: str, llm_mode: str):
         all_responses["executor"].append(final_executor_response)
         
         # 최종 결과 생성 (최종 보고서를 메인으로)
-        final_summary = f"""## 🎯 최종 종합 보고서
+        final_summary = f"""# 🎯 최종 종합 보고서
 
-### 📌 사용자 질문
-{user_query}
+## 📌 사용자 질문
+**{user_query}**
+
+---
+
+## 📄 최종 보고서 (실행자 AI - 모든 피드백 반영)
 
-### 📄 최종 보고서 (실행자 AI - 모든 피드백 반영)
 {final_executor_response}
 
 ---
 
-### 📊 전체 프로세스 평가 (평가자 AI)
+## 📊 전체 프로세스 평가 (평가자 AI)
+
 {evaluator_final_response}
 
 ---
 
-### 🔍 핵심 조사 결과 (조사자 AI)
+## 🔍 핵심 조사 결과 요약 (조사자 AI)
+
 {researcher_response[:800]}...
 
 ---
-### 📋 프로세스 완료
-- **사용 모델**: {'Gemini 2.5 Pro' if llm_system.use_gemini else '기본 LLM'}
-- **프로세스**: 감독→조사→평가→감독→실행→평가→감독→평가→실행
-- **총 9단계 협력 완료**
-- **생성 시간**: {datetime.now().strftime('%Y-%m-%d %H:%M:%S')}"""
+
+## 📋 프로세스 완료
+
+| 항목 | 내용 |
+|------|------|
+| **사용 모델** | {'Gemini 2.5 Pro' if llm_system.use_gemini else '기본 LLM'} |
+| **프로세스** | 감독→조사→평가→감독→실행→평가→감독→평가→실행 |
+| **총 단계** | 9단계 협력 완료 |
+| **생성 시간** | {datetime.now().strftime('%Y-%m-%d %H:%M:%S')} |
+
+---
+
+> 💡 **참고**: 이 보고서는 4개 AI의 협력을 통해 생성되었으며, 다단계 평가 프로세스를 거쳐 품질이 검증되었습니다."""
         
         # 내부 히스토리 업데이트 (UI에는 표시하지 않음)
         internal_history.append((user_query, final_summary))
@@ -1186,22 +1385,128 @@ css = """
     padding-left: 10px !important;
     background-color: #fffbeb !important;
 }
-.final-report-box textarea {
+.final-report-box {
     border: 2px solid #3b82f6 !important;
     border-radius: 8px !important;
-    padding: 20px !important;
+    padding: 16px !important;
     background-color: #eff6ff !important;
     margin-top: 10px !important;
-    font-size: 16px !important;
+    font-size: 14px !important;
+    max-height: 700px !important;
+    overflow-y: auto !important;
+    line-height: 1.6 !important;
+}
+.final-report-box h1 {
+    color: #1e40af !important;
+    font-size: 24px !important;
+    margin-bottom: 12px !important;
+}
+.final-report-box h2 {
+    color: #2563eb !important;
+    font-size: 20px !important;
+    margin-top: 16px !important;
+    margin-bottom: 10px !important;
+}
+.final-report-box h3 {
+    color: #3b82f6 !important;
+    font-size: 18px !important;
+    margin-top: 12px !important;
+    margin-bottom: 8px !important;
+}
+.final-report-box table {
+    border-collapse: collapse !important;
+    width: 100% !important;
+    margin: 16px 0 !important;
+}
+.final-report-box th, .final-report-box td {
+    border: 1px solid #cbd5e1 !important;
+    padding: 8px 10px !important;
+    text-align: left !important;
+}
+.final-report-box th {
+    background-color: #e0e7ff !important;
+    font-weight: bold !important;
+    color: #1e40af !important;
+}
+.final-report-box tr:nth-child(even) {
+    background-color: #f8fafc !important;
+}
+.final-report-box tr:hover {
+    background-color: #f0f4f8 !important;
+}
+.final-report-box code {
+    background-color: #f1f5f9 !important;
+    padding: 2px 6px !important;
+    border-radius: 4px !important;
+    font-family: 'Consolas', 'Monaco', monospace !important;
+    color: #dc2626 !important;
+}
+.final-report-box pre {
+    background-color: #1e293b !important;
+    color: #e2e8f0 !important;
+    padding: 12px !important;
+    border-radius: 6px !important;
+    overflow-x: auto !important;
+    margin: 12px 0 !important;
+    font-size: 13px !important;
+}
+.final-report-box pre code {
+    background-color: transparent !important;
+    color: #e2e8f0 !important;
+    padding: 0 !important;
+}
+.final-report-box blockquote {
+    border-left: 4px solid #3b82f6 !important;
+    padding-left: 12px !important;
+    margin-left: 0 !important;
+    margin: 12px 0 !important;
+    color: #475569 !important;
+    font-style: italic !important;
+    background-color: #f0f9ff !important;
+    padding: 10px 12px !important;
+    border-radius: 0 6px 6px 0 !important;
+}
+.final-report-box ul, .final-report-box ol {
+    margin-left: 20px !important;
+    margin-bottom: 12px !important;
+}
+.final-report-box li {
+    margin-bottom: 6px !important;
+    line-height: 1.6 !important;
+}
+.final-report-box strong {
+    color: #1e40af !important;
+    font-weight: 600 !important;
+}
+.final-report-box em {
+    color: #3730a3 !important;
+}
+.final-report-box hr {
+    border: none !important;
+    border-top: 2px solid #cbd5e1 !important;
+    margin: 24px 0 !important;
+}
+.final-report-box a {
+    color: #2563eb !important;
+    text-decoration: underline !important;
+}
+.final-report-box a:hover {
+    color: #1d4ed8 !important;
 }
 """
 
 with gr.Blocks(title="협력적 LLM 시스템 - 다단계 평가", theme=gr.themes.Soft(), css=css) as app:
     gr.Markdown(
-        f"""
+        """
         # 🤝 협력적 LLM 시스템 (다단계 평가 프로세스)
         
-        ### 📋 프로세스: 감독(분석) → 조사(검색) → 평가(조사) → 감독(지시) → 실행(초안) → 평가(초안) → 감독(개선) → 평가(최종) → 실행(완성)
+        ### 📋 프로세스 플로우
+        ```
+        감독(분석) → 조사(검색) → 평가(조사) → 감독(지시) → 실행(초안) 
+        → 평가(초안) → 감독(개선) → 평가(최종) → 실행(완성)
+        ```
+        
+        **4개 AI의 협력을 통한 최고 품질의 답변 생성**
         """
     )
     
@@ -1254,11 +1559,7 @@ with gr.Blocks(title="협력적 LLM 시스템 - 다단계 평가", theme=gr.them
     with gr.Row():
         with gr.Column():
             gr.Markdown("### 📊 최종 종합 보고서")
-            final_report = gr.Textbox(
-                label="",
-                lines=25,
-                max_lines=35,
-                interactive=False,
+            final_report = gr.Markdown(
                 value="*최종 보고서가 여기에 표시됩니다.*",
                 elem_classes=["final-report-box"]
             )