Quora　「汎化性能」

すべてのデータサイエンティストが知っておくべき、統計学の重要なトピックはなんでしょうか？

個人的には「汎化性能」だと思います。

上の図はその説明でよく用いられるもので、実際には3次多項式にノイズを加えて生成したサンプル（白い円）に多項式フィッティングを行った結果です。3次多項式モデル（赤線）だと全ての円は通らないながらも滑らかで綺麗に全体のトレンドに沿った曲線が描けますが、9次多項式モデル（青線）だとより多くの円を通りながらもぐにゃぐにゃして全体のトレンドに合わない奇妙な曲線を描いてしまいます。

それもそのはずで、3次モデルは程よく真の値（3次多項式に従う）を捉えているのに対して、9次モデルは真の値のみならずノイズにまでフィットしてしまっているからです。この場合、両端(-3 or 3)の外側にまでサンプルを拡張した場合、3次モデルは適切にフィットするであろう一方、9次モデルはあらぬ方向に吹っ飛んでしまって全くフィットしないであろうことが容易に想像できるかと思います。

このように、ノイズに振り回されず程よく全体のトレンドを捉え、適切にまだ見ぬ未知データにうまくモデルを当てはめられる（適切に予測できる）度合いのことを「汎化性能」と呼びます。

統計学とは、「標本抽出（サンプリング）された少ない標本から背後にある（見えない）母集団の性質を推定する営み」だとされます。この定義に従えば、汎化性能を確保することは統計学を統計学たらしめる本質的な要件であるように見えます。

言い換えると、例えばt検定やカイ二乗検定のような仮説検定から重回帰分析のような線形モデル、ロジスティック回帰などの一般化線形モデル、さらには統計的学習の手法に基づく機械学習領域におけるDeep Learningのような高度なモデルであっても全く同じことが言えるということだと思います。

汎化性能を評価する方法は世の中には色々あり、例えばAICのような情報量規準を用いるものや、交差検証によって擬似的に手持ちのサンプルから算出するものもあり、それぞれのシチュエーションに応じて使い分けることが望ましいとされます。

いかなる統計学的な取り組みであれ、汎化性能を確保することは非常に重要であると個人的には考えています。