📁 팀 프로젝트: [화학 공정 이상 탐지 시스템]

📝 프로젝트 개요

화학 공정 시뮬레이션 데이터를 기반으로 정상/비정상 상태를 탐지하는 이상 탐지 시스템을 구축한 프로젝트입니다. 센서(xmeas_*)와 제어 변수(xmv_*) 데이터를 바탕으로 다양한 비지도 학습 기반의 모델을 실험하고 비교했으며, 시뮬레이션 단위의 후처리를 통해 실전 활용성을 높이고자 했습니다.

⏱️ 기간 및 인원

기간: 2025.04.23 ~ 2025.05.06

인원: 총 5명

🛠 기술 스택

프로그래밍 언어 및 도구: Python, Jupyter Notebook

사용 모델: Isolation Forest, One-Class SVM, AutoEncoder, Deep SVDD

실험 관리: wandb

🔧 핵심 기능

• ✔ t-SNE 기반 시각화로 train/test 데이터 분포 차이 분석
• ✔ 상관계수 기반 feature selection을 통한 redundancy 제거
• ✔ 다양한 이상 탐지 모델 적용 및 성능 비교
• ✔ run 단위 후처리 적용 (5% 이상 이상 샘플 존재 시 run 전체 이상 판단)

📊 시스템 워크플로우

🧑‍💻 내가 기여한 부분

• ✔ 상관계수 기반 feature 제거 및 필터링 전략 설계
• ✔ wandb 연동을 통한 실험 자동화 및 로깅 설정
• ✔ simulationRun 단위 후처리 로직 구현

🐛 트러블슈팅

📌 중복 정보 및 차원의 저주

- 문제: 센서(xmeas)와 제어 변수(xmv) 간 높은 상관관계로 인한 redundant feature가 존재하고, feature 수가 40개 이상으로 고차원 학습의 어려움이 발생함

- 해결: xmv는 반드시 유지, xmeas는 상관관계 기반으로 필터링. xmeas-xmeas는 하나 제거, xmeas-xmv는 xmv 유지

- 인사이트: 단순히 feature 수를 줄이기보다는 도메인 지식 기반의 선택이 중요함

📊 상관계수 EDA

▲ 상관계수 그래프

▲ 상관계수가가 0.9 이상인 변수들을 xmeas-xmeas, xmeas-xmv, xmv-xmv 3가지 종류로 나누어서 시각화

📌 Scaler/상관계수 threshold 무의미

- 실험: Standard / MinMax / Robust Scaler를 비교하고, 상관계수 기준도 0.8과 0.9로 실험함

- 결과: scaler는 성능에 큰 차이를 보이지 않으며, threshold 조정 역시 제거 feature 수나 성능 향상에 의미 있는 영향을 주지 않음

- 결론: 기본 설정 유지가 합리적이며, feature 조합과 모델 구조가 성능에 더 영향 큼

📊 scaler/correlation 비교 실험 (wandb)

▲ 상관계수0.8과 0.9 비교 결과: 유의미한 acc 변화 없음.

▲ scaler 별 acc 비교: 유의미한 변화 없음

📌 Data Augmentation 실패

- 시도: 랜덤 feature 제거, 노이즈 추가, 연속 변동 등 다양한 방식으로 극단값 및 연속 이상치를 시뮬레이션하여 이상 데이터 생성을 시도함.

- 결과: 생성된 이상치는 실제 test 데이터와 분포가 달랐으며, t-SNE 시각화 결과에서도 test와의 유사성이 떨어지는 것으로 나타나 augmentation 전략은 실패함.

📊 t-SNE 비교 시각화

▲ test 데이터 내부에 train과 명확히 구별되는 클러스터들이 다수 존재함을 확인할 수 있음.

▲ aug 데이터를 포함했을 때, test와의 구분이 오히려 더 불명확해지고 aug 데이터가 별도로 군집화되는 현상이 나타남.

📌 simulation-run 간의 이상치 후처리

- 관찰: 딥러닝 및 머신러닝 모델의 예측 결과를 t-SNE로 시각화한 결과, 일부 예측된 이상치가 train 데이터의 정상 군집 내부에 포함되어 있는 현상이 다수 확인되었습니다.

- 문제: 이러한 유형의 이상치는 기존 이상 탐지 모델이 정상 데이터로 잘못 판단하는 경향이 있었으며, 그로 인해 예측 성능 저하가 발생했습니다.

- 해결: test 데이터는 1 set에 50개의 run으로 구성되어 있다는 점에 착안해, 각 run 내 이상치가 일정 비율(예: 5%) 이상일 경우 해당 run 전체를 이상치로 판단하는 후처리 전략을 적용했습니다.

- 결과: 후처리 전략 적용 이후, train 데이터 군집 내부에 숨겨져 있던 이상치도 효과적으로 탐지되었고, 전체적인 예측 정확도도 눈에 띄게 향상되었습니다.

- 인사이트: 개별 샘플 단위보다 시뮬레이션 단위(run 단위)로 판단하는 방식이 실제 산업 환경에서의 이상 탐지에 보다 적합하며, t-SNE와 같은 시각화 기법이 탐지 실패의 원인을 파악하는 데 매우 유용하다는 점을 확인했습니다.

📊 AutoEncoder 시각화 결과 미리보기

▲ t-SNE 시각화 결과: 일부 예측된 이상치가 정상 train 데이터 군집 내부에 포함되어 있는 모습

🔍 전체 화면으로 보기

🌟 팀 성과

• ✔ 다양한 이상 탐지 모델 비교 및 성능 분석 체계 수립
• ✔ 후처리 적용으로 평가 지표(F1-score 등)의 안정성 향상
• 🏆 최종 리더보드 1위 달성 (F1-score 기반 평가)

💡 깨달은 점

이번 프로젝트를 통해 단순히 모델 성능을 높이는 것보다 데이터의 특성과 도메인 구조를 이해하고 반영하는 전략이 훨씬 더 큰 영향을 미칠 수 있다는 사실을 체감했습니다. 특히, 전체적인 데이터 분포와 상관관계를 고려한 feature selection, 그리고 시뮬레이션 단위의 후처리는 실제 산업 환경에서도 응용 가능한 방식이었습니다.

또한 프로젝트 도중 가장 인상 깊었던 점 중 하나는 train 데이터 분포 내부에서 발생하는 이상치의 존재였습니다. 이러한 미세 이상치는 정상 데이터와 거의 유사한 특성을 가지지만 실제로는 시스템 이상을 나타내는 경우로, 기존 이상 탐지 모델이 이를 정상으로 오인할 위험이 크며, 탐지 성능을 저하시킬 수 있다는 점에서 매우 까다로운 문제였습니다.

이 문제를 해결하기 위해 적용한 run 단위 후처리 전략은 샘플 단위로는 포착되지 않던 이상치를 보완하고, 실제 운영 시나리오에 더 적합한 탐지 결과를 만들어낼 수 있다는 중요한 인사이트를 제공했습니다.

마지막으로 wandb를 활용한 실험 기록 및 시각화는 프로젝트 효율성과 가시성을 크게 높여주었으며, 향후 다양한 프로젝트에서도 반복 활용하고 싶은 유용한 도구임을 느꼈습니다. 단순한 성능 수치 이상으로, 데이터 해석과 실험 설계에 대한 깊이 있는 고민이 필요함을 다시금 실감한 경험이었습니다.

🔗 참고 링크

• 📁 GitHub 저장소: github.com/KJH121212/02_House_Price_prediction