Quora 「汎化性能」
公開日:
:
最終更新日:2023/05/29
出版・講義資料
すべてのデータサイエンティストが知っておくべき、統計学の重要なトピックはなんでしょうか?
個人的には「汎化性能」だと思います。
上の図はその説明でよく用いられるもので、実際には3次多項式にノイズを加えて生成したサンプル(白い円)に多項式フィッティングを行った結果です。3次多項式モデル(赤線)だと全ての円は通らないながらも滑らかで綺麗に全体のトレンドに沿った曲線が描けますが、9次多項式モデル(青線)だとより多くの円を通りながらもぐにゃぐにゃして全体のトレンドに合わない奇妙な曲線を描いてしまいます。
それもそのはずで、3次モデルは程よく真の値(3次多項式に従う)を捉えているのに対して、9次モデルは真の値のみならずノイズにまでフィットしてしまっているからです。この場合、両端(-3 or 3)の外側にまでサンプルを拡張した場合、3次モデルは適切にフィットするであろう一方、9次モデルはあらぬ方向に吹っ飛んでしまって全くフィットしないであろうことが容易に想像できるかと思います。
このように、ノイズに振り回されず程よく全体のトレンドを捉え、適切にまだ見ぬ未知データにうまくモデルを当てはめられる(適切に予測できる)度合いのことを「汎化性能」と呼びます。
統計学とは、「標本抽出(サンプリング)された少ない標本から背後にある(見えない)母集団の性質を推定する営み」だとされます。この定義に従えば、汎化性能を確保することは統計学を統計学たらしめる本質的な要件であるように見えます。
言い換えると、例えばt検定やカイ二乗検定のような仮説検定から重回帰分析のような線形モデル、ロジスティック回帰などの一般化線形モデル、さらには統計的学習の手法に基づく機械学習領域におけるDeep Learningのような高度なモデルであっても全く同じことが言えるということだと思います。
汎化性能を評価する方法は世の中には色々あり、例えばAICのような情報量規準を用いるものや、交差検証によって擬似的に手持ちのサンプルから算出するものもあり、それぞれのシチュエーションに応じて使い分けることが望ましいとされます。
いかなる統計学的な取り組みであれ、汎化性能を確保することは非常に重要であると個人的には考えています。
関連記事
-
-
『二・二六帝都兵乱』アマゾンの書評
著者は軍制、軍事面からアプローチしていると言っているが、それだけではない。当時の社会の通念、雰囲
-
-
AIに聞く、甘利俊一博士の「脳・心・人工知能」を参考にした、『観光資源反応譜』の提案
人流・観光に関する学生用の教科書として、amazonのkindleで『人流・観光学概論』を出版してい
-
-
脳科学 ファントムペイン
四肢の切断した部分に痛みを感じる、いわゆる幻肢痛(ファントムペイン)は、脳から送った信号に失った
-
-
『物語 ナイジェリアの歴史』島田周平著 中公新書
アマゾン書評 歴史家トインビー曰く、アフリカはサハラ砂漠南縁を境に、北のアラブ主義
-
-
【ゆっくり解説】【総集編】ガチで眠れなくなる「生物進化」の謎6選を解説/ミッシ ングリンク、収斂進化、系統樹、生命起源【作業用】【睡眠用】
https://youtu.be/ACEmkF1-g88
-
-
現代では観光資源の戦艦大和は戦前は知られていなかった? 歴史は後から作られる例
『太平洋戦争の大誤解』p.183 日本人も戦前はほとんど知らなかった。戦後アメリカの報道統制
-
-
『庶民と旅の歴史』新城常三著
新城 常三(1911年4月21日- 1996年8月6日)は、日本の歴史学者。交通史を専門とした。1
-
-
鬼畜米英が始まったのは、1944年からの現象 岩波ブックレット「日本人の歴史認識と東京裁判」吉田裕著
靖国神社情報交換会に参加した。歴史認識は重要な観光資源であるとする私の考えに共鳴されたメンバーの
-
-
学士会報926号特集 「混迷の中東・欧州をトルコから読み解く」「EUはどこに向かうのか」読後メモ
「混迷の中東」内藤正典 化学兵器の使用はアサド政権の犯行。フセインと違い一切証拠を残さないが、イス
