Spaces:
Sleeping
Sleeping
import os | |
import gradio as gr | |
from langchain_groq import ChatGroq | |
from langchain.chains import RetrievalQA | |
from langchain.prompts import PromptTemplate | |
from langchain.vectorstores import FAISS | |
from langchain.embeddings import HuggingFaceEmbeddings | |
# Groq API 키 (Hugging Face Secrets에서 가져옴) | |
GROQ_API_KEY = os.environ.get("GROQ_API_KEY") | |
# 전역 변수들 | |
vectorstores = {} | |
embeddings = None | |
combined_vectorstore = None | |
def debug_file_system(): | |
"""파일 시스템 상태를 자세히 확인하는 함수""" | |
import os | |
print("=" * 50) | |
print("🔍 파일 시스템 디버깅 시작") | |
print("=" * 50) | |
# 현재 디렉토리 | |
current_dir = os.getcwd() | |
print(f"📂 현재 작업 디렉토리: {current_dir}") | |
# 루트 디렉토리의 모든 항목 | |
try: | |
all_items = os.listdir('.') | |
print(f"📋 루트 디렉토리 내용: {all_items}") | |
# 각 항목의 타입 확인 | |
for item in all_items: | |
item_path = os.path.join('.', item) | |
if os.path.isdir(item_path): | |
print(f"📁 {item} (디렉토리)") | |
try: | |
sub_items = os.listdir(item_path) | |
print(f" └── 내용: {sub_items}") | |
except Exception as e: | |
print(f" └── 접근 불가: {e}") | |
else: | |
print(f"📄 {item} (파일)") | |
except Exception as e: | |
print(f"❌ 디렉토리 읽기 오류: {e}") | |
# 환경 변수 확인 | |
print(f"🔑 GROQ_API_KEY 설정됨: {'GROQ_API_KEY' in os.environ}") | |
print("=" * 50) | |
# 앱 시작 시 디버깅 실행 | |
debug_file_system() | |
def find_vectorstore_folders(): | |
"""현재 디렉토리에서 벡터스토어 폴더들을 찾는 함수""" | |
current_dir = os.getcwd() | |
print(f"현재 디렉토리: {current_dir}") | |
# 모든 파일과 폴더 확인 | |
all_items = os.listdir(current_dir) | |
print(f"현재 디렉토리 내 모든 항목들: {all_items}") | |
# 예상되는 벡터스토어 폴더들 | |
expected_folders = ['vectorstore1', 'vectorstore2', 'vectorstore3'] | |
vectorstore_folders = [] | |
for folder_name in expected_folders: | |
folder_path = os.path.join(current_dir, folder_name) | |
if os.path.exists(folder_path) and os.path.isdir(folder_path): | |
try: | |
folder_contents = os.listdir(folder_path) | |
print(f"📁 {folder_name} 폴더 내용: {folder_contents}") | |
# 필수 파일들 확인 | |
required_files = ['index.faiss', 'index.pkl'] | |
has_all_files = all(file in folder_contents for file in required_files) | |
if has_all_files: | |
vectorstore_folders.append(folder_name) | |
print(f"✅ {folder_name} - 모든 필수 파일 존재") | |
else: | |
missing_files = [f for f in required_files if f not in folder_contents] | |
print(f"❌ {folder_name} - 누락된 파일: {missing_files}") | |
except Exception as e: | |
print(f"❌ {folder_name} 폴더 확인 중 오류: {e}") | |
else: | |
print(f"❌ {folder_name} 폴더가 존재하지 않음") | |
if not vectorstore_folders: | |
print("❌ 사용 가능한 벡터스토어 폴더를 찾을 수 없습니다") | |
else: | |
print(f"✅ 총 {len(vectorstore_folders)}개의 벡터스토어 폴더를 찾았습니다: {vectorstore_folders}") | |
return vectorstore_folders | |
def load_all_vectorstores(): | |
"""모든 벡터스토어를 로드하고 통합하는 함수""" | |
global vectorstores, embeddings, combined_vectorstore | |
if not embeddings: | |
embeddings = HuggingFaceEmbeddings( | |
model_name="sentence-transformers/all-MiniLM-L6-v2" | |
) | |
# 벡터스토어 폴더들 찾기 | |
folders = find_vectorstore_folders() | |
loaded_vectorstores = [] | |
for folder_name in folders: | |
try: | |
vectorstore = FAISS.load_local( | |
f"./{folder_name}", | |
embeddings, | |
allow_dangerous_deserialization=True | |
) | |
vectorstores[folder_name] = vectorstore | |
loaded_vectorstores.append(vectorstore) | |
print(f"✅ {folder_name} 로드 완료") | |
except Exception as e: | |
print(f"❌ {folder_name} 로드 실패: {e}") | |
# 벡터스토어들을 통합 (첫 번째를 기본으로 하고 나머지를 merge) | |
if loaded_vectorstores: | |
combined_vectorstore = loaded_vectorstores[0] | |
for vs in loaded_vectorstores[1:]: | |
try: | |
combined_vectorstore.merge_from(vs) | |
print(f"✅ 벡터스토어 통합 완료") | |
except Exception as e: | |
print(f"❌ 벡터스토어 통합 실패: {e}") | |
print(f"🎉 총 {len(loaded_vectorstores)}개의 벡터스토어가 통합되었습니다") | |
return len(loaded_vectorstores) > 0 | |
# 질문 리스트 (기존과 동일) | |
suggested_questions = [ | |
'교원 신규 임용은 어떻게 하나요?', | |
'교원 연구년 기간은 어떻게 되나요?', | |
'조교 신규 임용 기준은 무엇인가요?', | |
'교직원의 평일 근무시간은 어떻게 되나요?', | |
'직원 신규 임용 원칙은 무엇인가요?', | |
'직원 임용시 가산점이 있나요?', | |
'교원 업적의 심사 내용은 무엇인가요?', | |
'외국인 교원의 임기는 어떻게 되나요?', | |
'외국인 교원의 면직 기준은 무엇인가요?', | |
'기간제 계약직의 임기는 얼마정도인가요?', | |
'등록금 납부 방법은 무엇인가요?', | |
'교직 이수는 언제 신청이 가능한가요?', | |
'해외교류유학 지원자격은 어떻게 되나요?', | |
'만족도 조사 실행 대상은 누구인가요?', | |
'마이크로디그리의 유형은 무엇이 있나요?', | |
'장학금 관리 기관은 어디인가요?', | |
'학생 단체는 어떻게 등록하나요?', | |
'학생 설치물 중 금지된 설치물이 있나요?', | |
'비교과 교육과정의 종류는 무엇이 있나요?', | |
'안전사고예방계획은 어디에 제출해야 하나요?' | |
] | |
# 프롬프트 템플릿 (기존과 동일) | |
prompt_template = """당신은 한남대학교 규정집 도우미입니다. | |
반드시 한국어로만 답변해주세요. 영어나 다른 언어는 절대 사용하지 마세요. | |
주어진 문서 내용을 바탕으로 질문에 대해 정확하고 친절하게 한국어로 답변해주세요. | |
참고 문서: | |
{context} | |
질문: {question} | |
답변 지침: | |
- 이용자를 반기는 인사로 시작하세요 | |
- 반드시 한국어로만 답변하세요 | |
- 정중하고 친근한 말투를 사용하세요 | |
- 구체적이고 도움이 되는 정보를 제공하세요 | |
- 문서에서 답을 찾을 수 없으면 "죄송하지만 해당 정보를 규정집에서 찾을 수 없습니다"라고 답변하세요 | |
한국어 답변:""" | |
prompt = PromptTemplate( | |
template=prompt_template, | |
input_variables=["context", "question"] | |
) | |
def respond_with_groq(question, selected_q, model): | |
"""질문에 대한 답변을 생성하는 함수""" | |
# 선택된 질문이 있으면 그것을 사용 | |
if selected_q != "직접 입력": | |
question = selected_q | |
if not question.strip(): | |
return "질문을 입력해주세요." | |
if not GROQ_API_KEY: | |
return "❌ API 키가 설정되지 않았습니다. 관리자에게 문의하세요." | |
# 통합된 벡터스토어가 로드되지 않은 경우 | |
if not combined_vectorstore: | |
return "❌ 사용 가능한 벡터스토어가 없습니다. 관리자에게 문의하세요." | |
try: | |
print(f"✅ 통합된 벡터스토어를 사용하여 검색 중...") | |
# LLM 설정 | |
llm = ChatGroq( | |
groq_api_key=GROQ_API_KEY, | |
model_name=model, | |
temperature=0.1, | |
max_tokens=1000 | |
) | |
# QA 체인 생성 | |
qa_chain = RetrievalQA.from_chain_type( | |
llm=llm, | |
chain_type="stuff", | |
retriever=combined_vectorstore.as_retriever(search_kwargs={"k": 5}), | |
chain_type_kwargs={"prompt": prompt}, | |
return_source_documents=True | |
) | |
# 답변 생성 | |
result = qa_chain({"query": question}) | |
return result['result'] | |
except Exception as e: | |
import traceback | |
error_details = traceback.format_exc() | |
print(f"❌ 상세 오류 정보:\n{error_details}") | |
return f"❌ 오류가 발생했습니다: {str(e)}" | |
def update_question(selected): | |
"""드롭다운 선택 시 질문을 업데이트하는 함수""" | |
if selected != "직접 입력": | |
return selected | |
return "" | |
# 앱 시작시 벡터스토어들 로드 | |
vectorstores_loaded = load_all_vectorstores() | |
# Gradio 인터페이스 생성 | |
with gr.Blocks(title="한남대학교 Q&A") as interface: | |
gr.HTML(""" | |
<div style="text-align: center; padding: 20px; background: linear-gradient(90deg, #667eea 0%, #764ba2 100%); color: white; border-radius: 10px; margin-bottom: 20px;"> | |
<h1>🏫 한남대학교 규정집 Q&A</h1> | |
<p>한남대학교 규정집에 대한 질문에 답변해드립니다.</p> | |
</div> | |
""") | |
with gr.Row(): | |
with gr.Column(scale=1): | |
question_dropdown = gr.Dropdown( | |
choices=["직접 입력"] + suggested_questions, | |
label="💡 자주 묻는 질문", | |
value="직접 입력" | |
) | |
question_input = gr.Textbox( | |
label="❓ 질문을 입력하세요", | |
placeholder="예: 졸업 요건은 무엇인가요?", | |
lines=3 | |
) | |
submit_btn = gr.Button("답변 받기", variant="primary", size="lg") | |
model_choice = gr.Radio( | |
choices=["llama3-70b-8192", "llama3-8b-8192"], | |
label="🤖 AI 모델 선택", | |
value="llama3-70b-8192" | |
) | |
with gr.Column(scale=2): | |
output = gr.Textbox( | |
label="💬 답변", | |
lines=15, | |
max_lines=20, | |
show_copy_button=True | |
) | |
# 이벤트 연결 | |
submit_btn.click( | |
fn=respond_with_groq, | |
inputs=[question_input, question_dropdown, model_choice], | |
outputs=output | |
) | |
question_dropdown.change( | |
fn=update_question, | |
inputs=question_dropdown, | |
outputs=question_input | |
) | |
# 앱 실행 | |
if __name__ == "__main__": | |
interface.launch() |