📁 팀 프로젝트: [정부지원금 추천 챗봇]

📝 프로젝트 개요

질문에 맞는 정부지원금 정보를 추천해주는 Retrieval-Augmented Generation (RAG) 기반 챗봇 시스템입니다. 정부24 공공 서비스 데이터를 수집하고, Upstage의 Solar API와 LangChain을 활용하여 실시간으로 적절한 정보를 제공합니다.

⏱️ 기간 및 인원

기간: 2025.03.01 ~ 2025.04.15

인원: 총 3명

🛠 기술 스택

프로그래밍 언어 및 도구: Python, Jupyter Notebook, JSON, LangChain, Streamlit

임베딩 및 검색: Upstage Solar API, FAISS

🔧 핵심 기능

• ✔ 정부24 API를 통해 JSON 형식의 지원금 정보 수집
• ✔ 조건 필터링 기반으로 문서 청크를 구성 및 저장
• ✔ Solar API를 활용한 질문 임베딩 및 유사 문서 검색
• ✔ 문서+질문 기반 응답 생성을 위한 프롬프트 엔지니어링
• ✔ 사용자가 선택한 조건에 따라 맞춤형 지원금 추천

🧭 시스템 워크플로우

정부지원금 추천 챗봇은 아래와 같은 파이프라인 구조로 동작합니다. 데이터 수집부터 질문 응답까지의 전체 흐름을 시각화한 다이어그램입니다.

🧑‍💻 내가 기여한 부분

• ✔ 정부24 데이터를 활용한 통합 파이프라인 설계 및 구축: 정부24 API에서 제공하는 서로 다른 구조의 세 가지 JSON 데이터를 수집하여, 조건 기반 필드 병합 및 구조 정제를 통해 하나의 통합 문서로 변환하는 파이프라인을 설계하고 구현했습니다. 단일 실행 파일로 데이터 수집부터 병합, 저장, 백업까지 자동화되도록 구성하여 확장성과 유지보수 편의성을 높였습니다.
• ✔ 불필요한 임베딩 비용 최소화를 위한 구조적 중복 제거 알고리즘 설계: 동일 서비스명 또는 동일 ID를 가진 중복 항목을 정제하고, 병합 유형별로 문자열 병합, 리스트 병합, 딕셔너리 병합 전략을 적용해 데이터를 약 26,000건에서 8,800건으로 압축하여 불필요한 임베딩 비용을 크게 절감했습니다.
• ✔ 임베딩 대상 문서 변경 추적 로직 구현: 이전 JSON과 비교하여 변경된 서비스만 임베딩하도록 구조화된 비교 로직을 구현했습니다. 서비스 ID 기준 매칭 후 각 필드 단위로 변경 여부를 확인하며, 자동으로 추가/수정/삭제 목록을 추출하여 최소한의 리소스로 RAG 시스템을 업데이트할 수 있도록 했습니다.
• ✔ LangChain과 Solar API 기반 RAG 응답 시스템 구축: LangChain을 기반으로 사용자의 질문에 따라 관련 문서를 검색하고, Solar API를 통해 한글 자연어 응답을 생성하는 전체 RAG 흐름을 구현했습니다. 문서 검색 → 프롬프트 생성 → 응답 생성의 구조를 갖추었으며, 검색 결과가 없을 때의 fallback 응답까지 고려하여 시스템 안정성을 확보했습니다.

🐛 트러블슈팅

📌 청크 분할 기준 선택 문제

- 문제 배경: 문서 내용을 나눌 때 문자 길이 기반과 토큰 개수 기반 중 어떤 기준이 성능에 유리할지 판단이 필요했습니다.

- 해결 방법: LLM의 문맥 파악 단위가 '토큰'이라는 점에 착안해 토큰 수 기반 분할을 채택했습니다. 그 결과, 의미 단절 없이 안정적으로 문서가 분할되어 문서 유사도 탐색의 정확도를 높일 수 있었습니다.

📌 임베딩 비용 과다 발생 문제

- 문제 배경: 사전 전처리를 생략하면 중복된 문서가 대량 포함되어 임베딩 비용이 크게 증가했습니다.

- 해결 방법: EDA를 통해 완전 중복 / 부분 중복 데이터를 구분하여 병합했습니다. 구체적으로는 서비스ID와 서비스명 기준으로 데이터를 비교하고, 세부 내용이 다른 경우에도 key 기준으로 dict 병합, 리스트 병합, 문자열 병합 등을 수행하여 데이터 건수를 대폭 줄였습니다.

- 전처리 결과:

📌 전체 재임베딩 비효율 문제

- 문제 배경: JSON 데이터가 업데이트될 때마다 전체 문서를 재임베딩하면 시간이 오래 걸리고 자원이 낭비됩니다.

- 해결 방법: prev.json과 new.json을 비교하여 변경된 문서만 추출하여 임베딩하도록 개선했습니다. 단순 해시 비교가 아닌 JSON 필드 단위로 비교하기 때문에 변경 유형과 원인을 파악할 수 있으며, 변경된 문서만 처리함으로써 비용을 크게 줄일 수 있었습니다.

- 처리 방식:

• 추가됨: new에만 있는 문서는 신규 임베딩
• 변경됨: ID는 같지만 내용이 달라진 문서는 재임베딩
• 삭제됨: 이전에는 있었지만 현재는 사라진 문서는 벡터DB에서 제거

🌟 팀 성과

• ✔ 실제 정부 문서 기반으로 높은 정밀도의 맞춤형 추천 시스템 구현
• ✔ Solar 임베딩 기반 검색과 LangChain 흐름을 안정적으로 통합
• ✔ 프롬프트 설계에 따라 응답 품질 차이를 명확히 확인하고 개선

📸 데모 이미지 보기

💡 깨달은 점

서비스를 실제로 운영하기 위해서는 단순히 잘 작동하는 모델을 만드는 것을 넘어서, 운영 비용을 줄이는 구조적 설계가 필수적임을 체감했습니다. 특히 임베딩은 비용이 많이 드는 작업이기 때문에, 데이터 변경 여부를 정밀하게 탐지하여 변경된 문서만 선별적으로 임베딩하는 방식이 효과적이었습니다. 이를 위해 고안한 데이터 전처리 및 병합 전략이 서비스 효율성에 직접적인 영향을 준다는 점에서 데이터 전처리의 중요성을 다시 한번 깊이 있게 깨달았습니다.

🔗 참고 링크

• 📁 GitHub 저장소: github.com/KJH121212/02_House_Price_prediction