[기계학습] 과소적합과 과잉적합 / 바이어스와 분산

과소적합

- 모델의 용량이 작아 오차가 클 수 밖에 없는 현상

- 비선형 모델을 사용하는 대안이 있다

- 우측 그래프로 갈수록 오차가 크게 감소

과잉적합

- 12차 다항식 곡선을 채택한다면 훈련집합에 대해서는 거의 완벽하게 근사함

- 하지만, 새로운 데이터를 예측한다면 큰 문제가 발생

- 이유는 용량이 크기 때문. 학습 과정에서 잡음까지 수용함으로서 과잉적합 현상

- 따라서 적절한 용량의 모델을 선택하는 모델 선택 작업이 필요

1차 ~ 12차 다항식 모델의 비교 관찰

- 1~2차는 훈련집합과 테스트집합 모두 낮은 성능

- 3~4차는 훈련집합에 대해 낮은 성능, 테스트집합에는 높은 성능 -> 높은 일반화 능력

- 12차는 훈련집합에 대해 높은 성능, 테스트집합에는 낮은 성능 -> 낮은 일반화 능력

 

훈련집합을 여러 번 수집하여 1차 ~ 12차에 적용하는 실험

- 2차는 매번 큰 오차 -> 바이어스가 큼 / 비슷한 모델을 얻음 -> 분산이 작음

- 12차는 매번 작은 오차 -> 바이어스가 작음 / 크게 다른 모델을 얻음 -> 분산이 큼

- 일반적으로 용량이 작은 모델은 바이어스는 크고 분산은 작고, 용량이 큰 모델은 바이어스가 작고 분산이 큼

- 바이어스와 분산은 트레이드오프 관계(반비례)

기계 학습의 목표

- 낮은 바이어스와 낮은 분산을 가진 예측기 제작이 목표

- 바이어스와 분산은 트레이드오프 관계(반비례)

- 따라서 바이어스 희생을 최소로 유지하며 분산을 최대로 낮추는 전략이 필요

바이어스와 분산