📝 프로젝트 개요

서울시 아파트 실거래 데이터를 기반으로 다양한 회귀 모델을 활용하여 매매가를 예측하는 프로젝트입니다. 부동산 도메인 지식을 반영한 피처 엔지니어링과 이상치 제거, 결측치 처리 등을 통해 성능 향상을 추구했습니다.

⏱️ 기간 및 인원

기간: 2024.12.23 ~ 2025.01.07

인원: 총 5명

🛠 기술 스택

프로그래밍 언어 및 도구: Python, Jupyter Notebook, Pandas, OpenCV

사용 모델: LightGBM, XGBoost, CatBoost, TabNet

(모델 설명 보기)

LightGBM: 대용량 데이터에 적합한 속도 중심의 트리 기반 부스팅 모델
XGBoost: 정밀한 예측과 성능 최적화로 널리 사용되는 부스팅 알고리즘
CatBoost: 범주형 데이터를 자동 처리해주는 gradient boosting 모델
TabNet: 딥러닝 기반의 테이블 데이터 처리 모델로, 주목(attention) 기반 구조 사용

🔧 핵심 기능

✔ 데이터 EDA를 통한 이상치 탐지 및 제거
✔ 강남/강북 여부, 신축 여부 등 파생 변수 생성
✔ 거리 기반 파생 변수(지하철, 버스 정류장 거리 등) 설계
✔ XGBoost 회귀 모델 학습 및 하이퍼파라미터 튜닝

🧑‍💻 내가 기여한 부분

✔ EDA 기반 인사이트 도출: 변수 간 관계를 분석하기 위해 IQR 분석과 상관행렬 히트맵을 시각화하여 주요 영향 변수를 도출했습니다.

📊 이미지 보기
✔ 결측치 처리 전략 수립: 결측치가 많은 피처를 시각화하여 90% 이상 결측 변수를 제거하고, 나머지는 변수 특성에 따라 선형 보간 및 'NULL'로 처리했습니다.

📊 이미지 보기
✔ 모델 성능 향상을 위한 파생 변수 설계: 강남 여부, 신축 여부, 교통 거리(지하철/버스)와 같은 실제 도메인 영향을 반영한 변수를 제작하여 예측력을 개선했습니다.
✔ 변수 중요도 분석 및 해석: Permutation Importance를 적용해 변수 영향도를 시각화하고, 중요도를 기반으로 불필요한 변수를 제거했습니다.

📊 이미지 보기

🐛 트러블슈팅

📌 최단 거리 계산 시 지방 아파트에서 이상치가 과도하게 발생한 문제

- 문제 배경: 지하철역 및 버스 정류장의 좌표 데이터를 기반으로 각 아파트에서 가장 가까운 교통 인프라까지의 거리를 계산하는 과정에서 일부 아파트는 비정상적으로 먼 거리 값을 보였습니다. 이는 대부분의 교통 인프라 데이터가 서울 및 수도권 지역에만 편중되어 있었고, 지방 아파트의 경우 실제와는 관계없는 매우 큰 거리값이 계산되어 이상치로 작용한 것입니다.

- 해결 방법: 전체 데이터에서 수도권 외 지역을 필터링하고, 수도권 내 데이터에 대해서만 교통 거리 기반 파생 변수를 적용하는 방식을 택했습니다. 이를 위해 ‘구’ 컬럼을 기준으로 강남/강북 여부를 판단한 로직을 확장하여 서울시 25개 구 이외 지역에 대해 별도의 예외 처리를 하였고, 이상치가 발생한 거리값은 중앙값으로 대체하거나 해당 파생변수를 제외하는 방식으로 처리하여 모델 안정성을 확보했습니다.

📌 결측치 및 이상치가 매우 많은 칼럼들로 인해 모델 학습이 불안정해지는 문제

- 문제 배경: 제공된 실거래가 데이터에는 일부 칼럼이 80% 이상의 결측치를 포함하고 있었으며, 일부 연속형 변수는 상식적인 범위를 벗어난 극단적인 값들을 다수 포함하고 있었습니다. 특히 ‘전용면적’ 및 ‘거래금액’ 관련 칼럼은 이상치로 인해 모델 학습 시 손실값이 급증하거나 과적합으로 이어지는 현상이 발생했습니다.

- 해결 방법: 결측치가 100만 개 이상인 칼럼은 삭제하고, 나머지는 범주형 변수는 ‘NULL’로, 연속형 변수는 선형 보간(Linear Interpolation)으로 처리했습니다. 이상치는 IQR(Interquartile Range)을 기준으로 상·하위 1.5배를 벗어난 값을 제거하였으며, 모델 학습 전후의 RMSE 비교를 통해 정제 효과를 수치적으로 검증했습니다.

🌟 팀 성과

최종 리더보드 2위 기록 (RMSE: 11628.7728)

🧑‍💻 개인 기여

회귀 모델 구현 및 비교 실험 (XGBoost 중심)
결측치 처리 및 피처 엔지니어링 전략 기획

💡 깨달은 점

도메인 기반 파생 변수 설계가 모델 성능에 큰 영향을 미친다는 것을 체감했습니다. 또한 결측치와 이상치의 영향이 예측 모델에 얼마나 큰 영향을 줄 수 있는지 직접 확인할 수 있는 좋은 경험이었습니다.

🔗 참고 링크

📁 GitHub 저장소: github.com/KJH121212/02_House_Price_prediction

📁 팀 프로젝트: [아파트 실거래가 예측]