랜덤 포레스트 회귀: 완벽 가이드

랜덤 포레스트 회귀란?

랜덤 포레스트 회귀는 앙상블 기법으로, 다수의 무작위화된 결정 트리를 구축하고 그 출력을 결합해 연속형 예측을 생성합니다. 단일 모델에 의존하는 대신, 여러 트리의 예측을 집계하며 보통 출력의 평균을 취합니다.

왜 여러 개의 트리일까요? 단일 결정 트리는 과적합되기 쉽습니다. 특히 복잡하고 현실 세계의 데이터와 작업할 때 신호와 함께 잡음도 포착합니다.

부트스트랩 집계와 특성 무작위성

랜덤 포레스트 회귀 모델의 강점은 각 단계에서 무작위성을 도입한 뒤 결과를 집계해 분산을 줄이는 데 있습니다. 이 내부 메커니즘을 살펴보겠습니다. 

부트스트랩 집계(bootstrap aggregating), 혹은 배깅(bagging)은 각 트리를 서로 다른 무작위 데이터 부분집합으로 학습시킵니다. 이는 트리 간 변이를 도입하고 과적합 위험을 줄입니다. 

특성 무작위성은 각 분기에서 무작위 특성 부분집합만 선택해 또 하나의 다양성 층을 더합니다. 이 기법들을 함께 사용하면 예측이 안정화되고 일반화가 향상됩니다.

부트스트랩 샘플링과 특성 무작위성

랜덤 포레스트는 부트스트랩 샘플링, 즉 배깅으로 시작합니다. 각 트리는 원본 데이터셋에서 무작위로 샘플링한 부분집합으로 학습됩니다. 그 결과 트리들은 동일한 구조를 반복하지 않고 서로 다른 패턴을 학습합니다.

또한 특성 무작위성을 도입합니다. 각 분기에서 사용 가능한 모든 특성 대신 무작위 특성 부분집합만 고려합니다. 이는 일부 지배적 특성이 모든 트리를 좌우하는 것을 방지합니다. 

배깅과 특성 무작위성을 결합하면 상관성이 낮은 트리 집합이 형성되어 서로 다른 오류를 내고, 결합될 때 잡음이 상쇄되어 전체 정확도가 향상됩니다.

트리 성장과 예측 집계

포레스트의 각 트리는 가지치기 없이 깊게 성장하는 경우가 많습니다. 이를 통해 데이터의 복잡한 패턴, 상호작용, 비선형 관계를 포착할 수 있습니다. 

개별 트리들은 과적합될 수 있지만, 최종 결과에서 랜덤 포레스트가 이들의 출력을 집계하면서 그 영향이 줄어듭니다.

바이어스-분산 절충

랜덤 포레스트는 개별 트리의 강도와 포레스트의 다양성이라는 두 가지 핵심 요소를 균형 있게 맞춥니다. 

깊은 트리는 학습 데이터를 밀접하게 맞출 수 있어 바이어스가 낮습니다. 동시에 데이터 샘플링과 특성 선택의 무작위성은 트리 간 상관을 줄입니다. 상관이 약한 낮은 바이어스 트리를 많이 평균함으로써 모델은 바이어스를 높이지 않고 전체 분산을 줄입니다.

데이터 전처리와 구현 워크플로

이제 개념을 실전에 적용해 원시 데이터를 작동하는 랜덤 포레스트 모델로 바꾸는 기법을 살펴보겠습니다.

데이터 정제와 특성 공학

랜덤 포레스트 모델을 위한 데이터 준비는 보통 범주형 변수 처리를 먼저 시작합니다. 

• 범주 수가 적을 때는 원-핫 인코딩 이 잘 작동하고 신뢰할 수 있습니다
• 고유값이 많은 고카디널리티 특성에는 타깃 인코딩이 차원을 크게 늘리지 않으면서 범주 수준의 신호를 포착해 더 효율적인 경우가 많습니다

다음은 결측치 처리입니다. 접근 방식은 사용하는 라이브러리에 따라 다릅니다. 일부 구현은 분기 시 결측값을 직접 처리할 수 있고, 다른 구현은 사전 대체를 요구합니다. 대부분의 경우 중앙값 또는 최빈값을 사용하는 간단한 대체로 충분합니다. 랜덤 포레스트는 엄격한 분포 가정에 의존하지 않기 때문에 이러한 단순한 방법이 실무에서 잘 통합니다.

결국 더 큰 영향은 특성 공학에서 옵니다. 예를 들어, 래그 변수는 시간적 의존성을 도입하고, 롤링 집계는 국부적 추세를 포착하며, 그룹 통계는 상위 수준 패턴을 인코딩합니다. 이러한 설계 특성은 모델이 정보를 더 잘 표현하도록 하여 예측 성능을 높입니다.

더 자세한 내용은 제 튜토리얼 머신 러닝의 특성 공학(Feature Engineering)을 참고하세요.

베이스라인 수립과 분할 전략

튜닝에 앞서 첫 단계는 데이터를 올바르게 분할하는 것입니다. 

일반적인 표 형식 문제에서는 데이터셋을 학습, 검증, 테스트 세트로 분리해 한 조각으로 학습하고 다른 조각으로 튜닝하며 마지막 조각으로 평가하는 것이 보통입니다. 

이 분리는 모델이 새로운 데이터에서 어떻게 행동할지 현실적인 판단을 제공하기 때문에 중요합니다.

시계열에서는 분할 전략이 달라집니다. 무작위 분할은 미래 정보가 과거로 누수되어 성능이 실제보다 좋아 보이게 만들 수 있습니다.

워크포워드 검증은 초기 시간 구간으로 학습하고 다음 구간으로 검증한 뒤 한 단계씩 앞으로 이동하는 방식으로 이 문제를 피합니다. 이는 실제 운영 환경에서 모델이 사용되는 방식과 평가를 일치시킵니다.

엔드투엔드 Python 구현 작성

구현은 간단한 scikit-learn 흐름을 따릅니다: 

1. 모델 임포트
2. 데이터 분할
3. 추정기 학습
4. 예측 생성
5. 출력 평가

실무에서의 전형적인 설정은 다음과 같습니다:

from sklearn.ensemble import RandomForestRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_absolute_error, root_mean_squared_error
import matplotlib.pyplot as plt

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=42
)

model = RandomForestRegressor(random_state=42)
model.fit(X_train, y_train)

y_pred = model.predict(X_test)

mae = mean_absolute_error(y_test, y_pred)
rmse = root_mean_squared_error(y_test, y_pred)

모델을 학습하고 평가한 후 다음 단계는 예측값과 실제값을 시각화하는 것입니다. 

산점도는 목표값을 지속적으로 과대예측 또는 과소예측하는 등 체계적 편향을 쉽게 발견하게 해줍니다. 또한 이분산성 — 목표값이 커질수록 예측 오차가 커지는 현상 — 을 드러내는 데도 도움이 됩니다.

하이퍼파라미터 튜닝과 평가

모델 학습 후에는 핵심 매개변수를 튜닝하고 성능을 평가합니다. 다음은 널리 쓰이는 기법입니다:

회귀 지표 선택과 해석

RMSE(평균제곱근오차), MAE(평균절대오차), R²는 각각 다른 방식으로 성능을 측정합니다. 

• RMSE는 잔차를 제곱하므로 큰 오차를 더 강하게 벌합니다. 큰 실수를 최소화해야 하는 상황에서 유용합니다
• MAE는 모든 오차를 동일하게 취급해, 이상치가 있거나 간헐적 급증보다 일관된 평균 오차가 더 중요할 때 안정적인 관점을 제공합니다
• R²는 모델이 목표값의 분산을 얼마나 설명하는지 측정해 전체 적합도를 비교하는 데 도움이 되지만, 예측 오차를 직접 반영하지는 않습니다

집계 지표를 넘어, 오류 분석은 더 깊은 통찰을 제공합니다. 잔차(실제값과 예측값의 차이)는 다양한 데이터 슬라이스에서 살펴봐야 합니다. 

잔차를 예측값 또는 실제값과 함께 플로팅하면 패턴을 드러낼 수 있습니다. 예를 들어 목표값이 커질수록 오차가 증가하면 이분산성을 시사합니다. 예측이 대각선 위나 아래로 일관되게 치우치면 체계적 편향을 의미합니다.

특성 그룹 또는 목표 구간별로 오류를 슬라이싱하는 것도 실패 모드를 파악하는 데 도움이 됩니다. 모델이 중간 범위에서는 잘 작동하지만 극단에서는 어려움을 겪거나, 데이터의 특정 세그먼트에서 다르게 동작할 수 있기 때문입니다.

OOB(가외표본) 평가 활용

랜덤 포레스트는 가외표본 샘플링을 통해 내장된 검증 메커니즘을 제공합니다. 각 트리가 부트스트랩 샘플로 학습되기 때문에 일부 데이터는 학습 중에 제외됩니다. 이 가외표본을 별도의 검증 세트를 만들지 않고도 모델 평가에 사용할 수 있으며, 이를 점수화한 것이 OOB 점수입니다.

하지만 OOB 평가만으로는 충분하지 않을 때가 있습니다. 특히 중요도가 높은 상황이나 데이터 누수가 우려되는 경우에는 최종 모델 검증을 위해 엄격한 홀드아웃 테스트 세트가 필요합니다. 

튜닝 우선순위 하이퍼파라미터

랜덤 포레스트에서는 보통 max_features와 n_estimators가 성능에 가장 눈에 띄는 변화를 유발합니다.

• max_features는 각 분기에서 고려하는 최대 특성 수를 제어합니다. 값을 낮추면 무작위성이 커지고 트리 간 상관이 줄어 일반화가 개선될 수 있습니다. 값을 높이면 개별 트리는 강해지지만 서로 더 비슷해져 분산이 증가할 수 있습니다. 

• n_estimators는 포레스트의 트리 수를 제어합니다. 늘리면 보통 예측이 안정되어 성능이 향상되지만 계산 시간도 증가합니다. 어느 지점 이후에는 이득이 미미해지므로 그 정체 구간을 파악하는 것이 중요합니다.

이 매개변수들은 교차 검증을 사용해 모델 복잡도, 학습 시간, 예측 성능 간 균형을 맞추며 튜닝해야 합니다.

특성 중요도와 해석 가능성

랜덤 포레스트 모델은 종종 블랙박스로 취급되지만, 예측에 특성이 어떻게 영향을 주는지 이해할 수 있는 여러 방법을 제공합니다. 주요 방법을 살펴보겠습니다.

불순도 기반 중요도

랜덤 포레스트는 평균 불순도 감소(MDI)를 사용해 특성 중요도를 계산합니다. 어떤 특성이 노드 분기에 사용될 때마다, 해당 분기가 불순도(회귀에서는 분산 등)를 얼마나 줄였는지 측정합니다. 이러한 감소량을 모든 트리에서 누적해, 해당 특성이 예측 개선에 얼마나 기여했는지를 반영하는 점수를 만듭니다.

이 방법은 빠르고 모델에 내장되어 있지만 한계가 있습니다. MDI는 연속형 특성이나 고유값이 많은 범주형 특성을 선호하는 경향이 있습니다. 이러한 특성은 가능한 분할점이 더 많아 실제로 더 예측력이 크지 않더라도 중요도가 부풀려질 수 있습니다.

퍼뮤테이션 중요도

퍼뮤테이션 중요도는 홀드아웃 데이터셋에서 특정 특성의 값을 무작위로 섞었을 때 성능이 어떻게 변하는지 측정합니다. 섞었을 때 성능이 크게 떨어지면 그 특성은 중요합니다. 영향이 작다면 예측 가치가 제한적일 가능성이 큽니다.

이 접근법은 실제 모델 동작을 반영하므로 분석에서 더 신뢰할 수 있습니다. 

다만 상관된 특성은 복잡성을 더합니다. 두 특성이 비슷한 정보를 담고 있다면, 하나를 섞더라도 다른 특성이 신호를 제공하므로 성능이 크게 변하지 않을 수 있습니다. 그 결과 중요도가 상관된 특성들에 분산될 수 있어, 해석에 주의가 필요합니다.

SHAP 값

SHAP 값(Shapley Additive Explanations)은 개별 예측에 각 특성이 얼마나 기여했는지를 설명합니다. 각 특성에, 기준선 대비 예측을 얼마나 위나 아래로 밀어 올렸는지를 나타내는 값을 할당합니다. 

이 방법은 모델 의사결정을 설명하고 신뢰를 구축하는 데 자주 사용됩니다. 더 가까이 살펴보려면 우리의 머신 러닝에서의 SHAP 값 튜토리얼을 읽어보세요.

제한 사항과 흔한 실패 사례

랜덤 포레스트 회귀는 다양한 상황에서 신뢰할 수 있지만, 분명한 한계가 있습니다. 이를 이해하면 언제 사용하고 언제 다른 접근으로 바꿔야 할지 판단하는 데 도움이 됩니다.

외삽 한계와 엣지 케이스

랜덤 포레스트는 학습 데이터의 범위를 넘어 외삽할 수 없습니다. 

각 트리는 학습 중 관찰된 분기에 근거해 예측하므로, 최종 출력은 데이터셋에서 본 목표값의 최솟값과 최댓값 사이에 제한됩니다. 모델이 10에서 100 사이의 목표값만 보았다면 입력 신호가 아무리 강해도 120을 예측할 수 없습니다. 이는 성장 예측이나 추세 중심 시스템에서 문제가 될 수 있습니다. 

또한 텍스트 표현이나 수천 개 열을 가진 원-핫 인코딩 벡터 같은 고차원 희소 데이터에는 어려움을 겪습니다. 이 경우 트리는 비효율적이 되며 의미 있는 분할을 포착하지 못합니다. 실용적 우회로는 다음과 같습니다 

• 차원 축소
• 특성 선택
• 릿지 회귀 등 희소 입력에 적합한 모델 사용

해석 가능성의 절충

단일 트리는 입력에서 예측으로의 명확한 경로를 제공해 설명이 쉽습니다. 반면 포레스트는 수백 개의 트리를 집계하므로 개별 결정을 추적하기가 어렵습니다.

엄격한 규제가 있는 환경에서는 이 절충이 중요합니다. 설명이 단순하고 직접 추적 가능해야 한다면 단일 결정 트리나 선형 모델이 더 적합할 수 있습니다. 성능이 우선이고 특성 중요도나 SHAP 같은 방법으로 설명을 보완할 수 있다면 랜덤 포레스트는 여전히 강력한 선택입니다.

연산, 메모리, 지연 시간 제약

랜덤 포레스트는 트리 수와 데이터 크기에 선형적으로 확장됩니다. 데이터셋이 커질수록 각 트리를 구축하고 저장해야 하므로 학습 시간과 메모리 사용량이 증가합니다. 또한 예측 시 모든 트리의 출력을 집계해야 하므로 큰 포레스트는 추론 속도를 늦출 수 있습니다.

지연 시간 또는 비용 제약이 엄격한 운영 시스템에서는 병목이 될 수 있습니다. 트리 수를 줄이거나, 트리 깊이를 제한하거나, 각 분기에서 고려하는 특성 수를 제한해 자원 사용을 제어할 수 있습니다. 이러한 조정은 일부 정확도를 대가로 학습과 예측 시간을 단축합니다.

랜덤 포레스트 회귀 vs. 대안: 선택 가이드

랜덤 포레스트 회귀가 사용 사례에 맞는 알고리즘인지, 또는 어떤 대안을 고려해야 할지 궁금할 수 있습니다.

모델 비교 프레임워크 만들기

사용 사례는 다양하지만 한 가지 접근은 항상 도움이 됩니다. 랜덤 포레스트 회귀기와 함께 동일 데이터셋에서 선형 회귀, 서포트 벡터 회귀, 그래디언트 부스팅 등 다양한 모델의 성능을 비교하세요. 

즉, 모든 모델에 대해 정확히 동일한 학습·검증·테스트 분할을 사용하고, 동일한 오류 기준과 비즈니스 가정하에 평가해야 합니다.

랜덤 포레스트 회귀 vs. 선형 회귀·서포트 벡터 회귀

랜덤 포레스트와 선형 회귀는 매우 다른 문제를 풉니다. 선형 회귀는 입력과 목표 사이의 관계가 대체로 선형이고 계수를 쉽게 설명해야 할 때 가장 잘 작동합니다. 또한 관측된 목표 범위를 넘어 깔끔하게 외삽해야 하는 경우 더 나은 선택입니다. 

반면 랜덤 포레스트는 비선형 패턴, 특성 상호작용, 불규칙 경계에 강합니다. 이는 복잡한 현실 세계 시스템을 모델링하는 데 더 강력한 도구이지만, 추세 중심의 예측에는 다소 약할 수 있습니다.

서포트 벡터 회귀(SVR)는 또 다른 축에 있습니다. 작은 데이터셋에서 잘 작동할 수 있지만 특성 스케일링에 훨씬 민감하고 보통 더 세심한 튜닝이 필요합니다. 랜덤 포레스트는 표준화된 입력에 의존하지 않아 일반적인 표 형식 워크플로에서 다루기 더 쉽습니다. 

SVR은 데이터셋이 작고 특성 공간이 제한적일 때 강력한 선택이 될 수 있지만, 데이터량·특성 복잡도·운영 압력이 증가하면 유지 관리가 어려워집니다.

랜덤 포레스트 회귀 vs. 그래디언트 부스팅·단일 결정 트리

랜덤 포레스트는 트리를 독립적으로 구축해 그 출력을 평균합니다. 그래디언트 부스팅은 새 트리가 이전 트리의 오류를 보정하도록 순차적으로 트리를 구축합니다.

XGBoost 같은 그래디언트 부스팅 기법은 특히 구조화된 표 형식 데이터에서 보통 더 높은 정확도 상한을 달성합니다. 그러나 더 많은 튜닝이 필요하고 하이퍼파라미터에 더 민감합니다. 부스팅은 순차적 특성 때문에 학습이 더 느릴 수 있습니다. 랜덤 포레스트는 학습이 더 쉽고, 기본 설정에서도 안정적이며, 구성에 덜 민감합니다.

단일 결정 트리와 비교하면, 랜덤 포레스트는 훨씬 더 안정적이고 정확합니다. 단일 트리는 모든 결정 경로를 추적할 수 있어 해석이 쉽지만, 데이터의 작은 변화에도 매우 민감합니다. 랜덤 포레스트는 많은 트리의 평균으로 이 불안정을 줄이지만, 직접적인 해석 가능성은 낮아집니다.

모델 비교 요약

마무리

랜덤 포레스트 회귀는 데이터가 지저분하고 관계가 비선형이며, 무거운 전처리 없이 강력한 베이스라인이 필요할 때 기본 모델로 가장 잘 작동합니다. 혼합된 특성 유형을 처리하고 상호작용을 포착하며 최소한의 설정으로 안정적인 성능을 제공합니다.

전형적인 워크플로는 명확한 순서를 따릅니다. 최소 전처리로 시작해 데이터를 올바르게 구조화하는 데 집중하세요. 기본 랜덤 포레스트 모델로 베이스라인을 구축하고 일관된 지표로 평가합니다. 그다음 트리 수와 특성 샘플링 전략 같은 핵심 하이퍼파라미터를 튜닝해 성능을 개선하세요. 

모델이 안정화되면 잔차 분석, 오류 슬라이싱, 필요 시 SHAP을 통한 예측 설명 등 더 깊은 평가로 넘어가세요. 

다음 단계로, 심층 이해와 실습을 위해 Python으로 트리 기반 모델을 활용한 머신 러닝 과정을 확인해 보세요.