過学習とは？ 答えまで丸暗記した過去問題集のたとえで

過去問題集を、答えまで丸ごと覚えた人を思い浮かべてください。3番は2番、7番は4番。問題集の中では、まちがえようがありません。ところが本番の試験で、見覚えのある問題の条件がひとつだけ変わると、手も足も出なくなります。

この人の状態が過学習です。機械学習の考え方の中でも、10代の子どもやAIツールを使うだれにでも説明しておきたい、とても役に立つ考え方です。アハAIは、ページ全体をこのひとつのたとえで組み立てています。しくみと、自分で確かめる方法をご紹介します。🧠

まずはひとこと

アハAIのページは、どれもひとことから始まります。過学習は練習問題の答えだけ覚えて新しい問題が解けない状態。その下のポイントには、いちばん大事なことが書かれています。練習データではほぼ満点でも、初めて見るものの前ではがたがたに崩れることがある、という点です。

たとえ：問題集の中では、覚えたことと分かったことが同じに見える

ページはこの人をもう少し追いかけます。問題集をくり返すたびに、まちがいは0に近づき、自信も上がっていきます。ところが条件がひとつ変わると、何もできません。答えを導く原理ではなく、問題と答えの組を覚えていたからです。

覚えておきたいのはこの一文です。覚えたことと理解したことは、問題集の中では区別がつきません。 問題集にない問題を出してはじめて分かれます。過学習したAIも同じ状態で、練習の点数はその崩れを何も教えてくれません。

問題集、小テスト、試験用紙

このたとえは、AIを実際に学習させるやり方にそのままつながります。アハAIはデータを三つの山として説明しています。

たとえ	機械学習では	役目
過去問題集	訓練データ	モデルが勉強するもの
小テスト	検証データ	とちゅうで確かめて、いつ止めるかを決める
試験用紙	テストデータ	最後に一度だけ開く

小テストが早めの警告です。モデルが本当の規則を学んでいるあいだは、練習の点数と小テストの点数がいっしょに良くなります。練習の点数は上がり続けるのに小テストの点数が下がり始めたら、モデルは覚え始めています。そこが止めどきです。

単純すぎる、ちょうどいい、ぴったりすぎる

反対側にも失敗があります。練習データさえ正しく解けないほど単純なモデルは学習不足で、こちらは見つけやすい失敗です。目指すのはそのあいだ、両方の点数が高く、近いところです。アハAIはこの目標を汎化と呼んでいます。初めて見るデータでもうまくいくことです。

自分の目で見てみる

ページの最後には、AI Teadingで紹介されているふたつの体験があります。

• TensorFlow Playground。 ノイズを上げ、層をたくさん積んだまま長く学習させてみてください。境界線が点を一つずつ覚えるようにくねくねし、テスト誤差だけがまた上がる瞬間が見えます。
• Teachable Machine。 写真三、四枚だけで学習させたあと、背景だけを変えてみてください。物ではなく背景を覚えたモデルに出会えるかもしれません。

よくある誤解

ページの終わりには、まちがえやすい点が短くまとめられています。授業で声に出して伝えたいのはこのふたつです。

• 練習の点数が高いほど良いモデル、というわけではありません。見るべきなのは、練習の点数と取っておいたデータの点数の差です。
• 長く学習させるほど賢くなる、というわけでもありません。ある地点を超えると雑音まで覚え、新しいデータでの性能が落ちます。

次回のお話

アハAIがはじめての方は、アハAI：AIの用語を、日常のたとえひとつでからどうぞ。

次回は、AI Teading Teensの6.4章で、AIを使う自分のルールを書くをお届けします。