Update app.py

app.py

@@ -105,7 +105,6 @@ async def generate_response(message):
     user_input = message.content
     user_mention = message.author.mention
     
-    # 사용자별 대화 히스토리 관리
     if message.author.id not in conversation_histories:
         conversation_histories[message.author.id] = []
     
@@ -127,38 +126,29 @@ async def generate_response(message):
     # Google Custom Search 실행
     search_results = google_search(user_input)
     
+    # 대화 히스토리에 사용자 입력 추가
+    conversation_history.append({"role": "user", "content": f"사용자 질문: {user_input}\n\n검색 결과:\n{search_results}"})
+    
+    # API 요청을 위한 메시지 구성
     messages = [
         {"role": "system", "content": f"{system_prefix} {system_message}"},
-        {"role": "user", "content": f"사용자 질문: {user_input}\n\n검색 결과:\n{search_results}"}
     ]
-    
-    # 이전 대화 히스토리 추가 (최대 4개의 턴, 즉 8개의 메시지만 포함)
-    for i in range(min(len(conversation_history), 8), 0, -2):
-        messages.append({"role": "user", "content": conversation_history[-i]})
-        messages.append({"role": "assistant", "content": conversation_history[-i+1]})
+    messages.extend(conversation_history[-10:])  # 최근 10개의 메시지만 포함
     
     logging.debug(f'Messages to be sent to the model: {messages}')
     
-    loop = asyncio.get_event_loop()
     try:
-        response = await loop.run_in_executor(None, lambda: hf_client.chat_completion(
-            messages, max_tokens=1000, stream=True, temperature=0.7, top_p=0.85))
-        
-        full_response = []
-        for part in response:
-            logging.debug(f'Part received from stream: {part}')
-            if part.choices and part.choices[0].delta and part.choices[0].delta.content:
-                full_response.append(part.choices[0].delta.content)
+        response = await asyncio.to_thread(hf_client.chat_completion,
+            messages, max_tokens=1000, temperature=0.7, top_p=0.85)
         
-        full_response_text = ''.join(full_response)
+        full_response_text = response.choices[0].message.content
         logging.debug(f'Full model response: {full_response_text}')
         
-        # 대화 히스토리 업데이트
-        conversation_history.append(user_input)
-        conversation_history.append(full_response_text)
+        # 대화 히스토리에 어시스턴트 응답 추가
+        conversation_history.append({"role": "assistant", "content": full_response_text})
         
-        # 대화 히스토리 길이 제한 (최근 8개 메시지만 유지)
-        conversation_histories[message.author.id] = conversation_history[-8:]
+        # 대화 히스토리 길이 제한 (최근 20개 메시지만 유지)
+        conversation_histories[message.author.id] = conversation_history[-20:]
         
         logging.debug(f'Conversation history updated: {conversation_histories[message.author.id]}')
         
@@ -166,7 +156,7 @@ async def generate_response(message):
     except Exception as e:
         logging.error(f"Error in generate_response: {e}")
         return f"{user_mention}, 죄송합니다. 응답을 생성하는 중 오류가 발생했습니다. 다시 시도해 주세요."
-
+        
 if __name__ == "__main__":
     # Discord 클라이언트 실행
     bot = MyClient()