과적합이란? 답까지 통째로 외운 기출문제집 이야기

기출문제집을 답까지 통째로 외운 사람을 떠올려 보세요. 3번은 2번, 7번은 4번. 문제집 안에서는 틀릴 수가 없어요. 그런데 진짜 시험에서 익숙한 문제의 조건 하나만 바뀌면 손도 못 대요.

이 사람의 상태가 바로 과적합이에요. 머신러닝 개념 가운데 청소년에게, 그리고 AI 도구를 쓰는 누구에게나 설명해 두면 쓸모가 많은 개념이에요. 아하AI는 페이지 전체를 이 비유 하나로 짜 두었어요. 어떻게 되어 있는지, 그리고 직접 확인하는 방법을 소개할게요. 🧠

먼저 한 줄로

아하AI 페이지는 모두 한 줄로 시작해요. 과적합은 연습 문제 답만 외워 새 문제는 못 푸는 상태예요. 그 아래 핵심 정리에는 가장 중요한 점이 적혀 있어요. 연습 데이터에서는 거의 만점이어도 처음 보는 것 앞에서는 와르르 무너질 수 있다는 점이에요.

비유: 문제집 안에서는 외운 것과 아는 것이 똑같아 보여요

페이지는 이 사람을 조금 더 따라가요. 문제집을 돌릴 때마다 틀린 개수는 0에 가까워지고 자신감도 올라가요. 그런데 조건 하나가 바뀌면 시작도 못 해요. 답을 끌어내는 원리 대신 문제와 답의 짝을 외웠기 때문이에요.

기억해 둘 문장은 이거예요. 외운 것과 아는 것은 문제집 안에서는 구별되지 않아요. 문제집에 없던 문제를 내밀어야 비로소 갈려요. 과적합된 AI도 똑같은 상태이고, 연습 점수는 무너질 거라는 신호를 하나도 주지 않아요.

문제집, 쪽지시험, 시험지

이 비유는 AI를 실제로 학습시키는 방식으로 그대로 이어져요. 아하AI는 데이터를 세 무더기로 나눠 설명해요.

비유에서는	머신러닝에서는	하는 일
기출문제집	훈련 데이터	모델이 공부하는 것
쪽지시험	검증 데이터	중간중간 확인해서 언제 멈출지 정해요
시험지	시험(테스트) 데이터	맨 끝에 딱 한 번 열어요

쪽지시험이 이른 경고예요. 모델이 진짜 규칙을 배우는 동안에는 연습 점수와 쪽지시험 점수가 함께 좋아져요. 연습 점수는 계속 오르는데 쪽지시험 점수가 내려가기 시작하면 모델이 외우기 시작한 거예요. 그때가 멈출 때예요.

너무 단순하게, 딱 알맞게, 너무 딱 맞게

반대쪽 실수도 있어요. 연습 데이터조차 제대로 못 맞힐 만큼 단순한 모델은 과소적합이고, 이건 알아차리기 쉬워요. 바라는 건 그 사이, 두 점수가 모두 높고 서로 가까운 상태예요. 아하AI는 이 목표를 일반화라고 불러요. 한 번도 본 적 없는 데이터에서도 잘하는 거예요.

직접 눈으로 보기

페이지 끝에는 AI 티딩에서 소개하는 실습 두 가지가 있어요.

• 텐서플로 플레이그라운드. 노이즈를 올리고 층을 많이 쌓은 채 오래 학습시켜 보세요. 경계선이 점을 하나하나 외우듯 구불구불해지고, 테스트 손실만 다시 올라가는 순간이 보여요.
• 티처블 머신. 사진 서너 장으로만 학습시킨 뒤 배경만 바꿔 보세요. 물건이 아니라 배경을 외운 모델을 만날 수도 있어요.

흔한 오해

페이지 끝에는 헷갈리기 쉬운 점이 짧게 모여 있어요. 수업에서 소리 내어 짚어 볼 만한 건 이 두 가지예요.

• 연습 점수가 높을수록 좋은 모델인 건 아니에요. 봐야 할 건 연습 점수와 떼어 둔 데이터 점수 사이의 간격이에요.
• 오래 학습시킬수록 똑똑해지는 것도 아니에요. 어느 지점을 넘으면 잡음까지 외워서 새 데이터에서의 성능이 떨어져요.

다음 이야기

아하AI가 처음이라면 아하AI: AI 용어마다 일상 속 비유 하나씩부터 읽어 보세요.

다음 글에서는 AI 티딩 틴즈 6.4장으로, AI를 쓰는 나만의 규칙 만들기를 알아볼게요.