📁 팀 프로젝트: [과학 상식 RAG 기반 질의응답 시스템]

📝 프로젝트 개요

질문과 이전 대화 히스토리를 보고 참고할 문서를 검색엔진에서 추출 후 이를 활용하여 질문에 적합한 대답을 생성하는 태스크입니다.

⏱️ 기간 및 인원

기간: 2025.04.16 ~ 2025.04.21

인원: 총 4명

🛠 기술 스택

프로그래밍 언어 및 도구: Python, FAISS, LangChain, Streamlit

사용 모델: Upstage Solar API

🔧 핵심 기능

• ✔ 과학 상식 문서 색인을 위한 FAISS 기반 벡터 DB 구성
• ✔ 질문 도메인 분류기 구현 (과학 질문 여부 판단)
• ✔ 관련 문서 검색 및 프롬프트 구성 → LLM을 통한 답변 생성
• ✔ 출처 문서 정보 표시 및 Streamlit 기반 UI 제공

📊 시스템 워크플로우

🧑‍💻 내가 기여한 부분

• ✔ 질문 도메인 분류 로직 설계 및 예외 처리 플로우 구현
• ✔ FAISS 색인 로딩 및 검색 흐름 구축
• ✔ LangChain PromptTemplate 설계 및 Solar API 연동
• ✔ 사용자 질의 흐름을 고려한 프론트엔드 구조 설계 (Streamlit)

📄 사용한 과학 지식 문서 구조 보기

▲ 과학 지식 문서 구조 예시 (JSONL)

🐛 트러블슈팅

📌 문제 1: 질문 도메인 판별 실패

- 문제 배경: 단순 키워드 기준 분류는 일반 대화와 과학 질문을 명확히 구분하지 못해, 엉뚱한 문서가 검색되거나 아예 검색이 누락됨.

- 해결 방법: 사용자 질문을 정규화한 뒤, 과학 키워드 리스트 기반 필터링 외에도 Rule 기반 예외처리 및 fallback 답변 로직을 설계하여 안정성을 높임.

📌 문제 2: 검색 결과가 부적절하거나 누락되는 문제

- 문제 배경: FAISS의 유사도 기준만으로는 질문 의도와 동떨어진 문서가 반환되는 경우가 발생.

- 해결 방법: 검색된 문서의 제목/본문 유사도를 추가 필터로 검토해 상위 3개만 노출하고, 필요 시 검색 결과가 없음을 안내하는 예외 응답 구현.

🌟 팀 성과 및 생성 결과 예시

• ✔ 실제 질문-응답 흐름을 자연스럽게 연결한 UX 구조 완성
• ✔ MAP 0.89 / MRR 0.89 기록으로 대회 1위 달성
• ✔ 프롬프트 구성 및 검색 전략 개선으로 응답 일관성과 정확도 향상

질문에 대해 검색된 문서를 기반으로 생성된 답변 예시는 다음과 같습니다. 출처 문서와 함께 결과를 사용자에게 전달합니다.

💡 깨달은 점

이번 프로젝트를 통해 단순히 모델의 성능보다도, 질문에 적합한 문서를 얼마나 정확히 검색하고, 이를 바탕으로 자연스럽고 신뢰 가능한 응답을 생성하는 전체 정보 흐름의 설계가 더욱 중요하다는 것을 깨달았습니다. 특히 RAG 시스템에서 핵심은 LLM 자체가 아니라, 질문 분류 → 문서 검색 → 응답 생성으로 이어지는 파이프라인 전반의 구조였습니다.

또한, Streamlit을 활용한 사용자 인터페이스 구현 경험은 프론트엔드 시각화의 중요성을 체감하는 계기가 되었습니다. 결과와 출처 문서를 직관적으로 연결해 보여주는 UI 설계가 부족했던 점은 이후 개선 과제로 남았으며, 사용자 경험을 고려한 정보 표현 방식에 대해 고민해보는 기회가 되었습니다.

마지막으로, 생성된 응답의 품질을 정량적으로 평가하기 위한 지표(MAP, MRR)가 유용했지만, 그 한계도 분명했습니다. 특히 사용자 관점에서 '좋은 응답'이 무엇인지에 대한 기준은 정성적 피드백 없이는 포착하기 어렵다는 점에서, 정량과 정성 평가를 함께 고려한 테스트 설계의 중요성을 느꼈습니다.

🔗 참고 링크

• 📁 GitHub 저장소: github.com/KJH121212/02_House_Price_prediction