Quora 「汎化性能」
公開日:
:
最終更新日:2023/05/29
出版・講義資料
すべてのデータサイエンティストが知っておくべき、統計学の重要なトピックはなんでしょうか?
個人的には「汎化性能」だと思います。
上の図はその説明でよく用いられるもので、実際には3次多項式にノイズを加えて生成したサンプル(白い円)に多項式フィッティングを行った結果です。3次多項式モデル(赤線)だと全ての円は通らないながらも滑らかで綺麗に全体のトレンドに沿った曲線が描けますが、9次多項式モデル(青線)だとより多くの円を通りながらもぐにゃぐにゃして全体のトレンドに合わない奇妙な曲線を描いてしまいます。
それもそのはずで、3次モデルは程よく真の値(3次多項式に従う)を捉えているのに対して、9次モデルは真の値のみならずノイズにまでフィットしてしまっているからです。この場合、両端(-3 or 3)の外側にまでサンプルを拡張した場合、3次モデルは適切にフィットするであろう一方、9次モデルはあらぬ方向に吹っ飛んでしまって全くフィットしないであろうことが容易に想像できるかと思います。
このように、ノイズに振り回されず程よく全体のトレンドを捉え、適切にまだ見ぬ未知データにうまくモデルを当てはめられる(適切に予測できる)度合いのことを「汎化性能」と呼びます。
統計学とは、「標本抽出(サンプリング)された少ない標本から背後にある(見えない)母集団の性質を推定する営み」だとされます。この定義に従えば、汎化性能を確保することは統計学を統計学たらしめる本質的な要件であるように見えます。
言い換えると、例えばt検定やカイ二乗検定のような仮説検定から重回帰分析のような線形モデル、ロジスティック回帰などの一般化線形モデル、さらには統計的学習の手法に基づく機械学習領域におけるDeep Learningのような高度なモデルであっても全く同じことが言えるということだと思います。
汎化性能を評価する方法は世の中には色々あり、例えばAICのような情報量規準を用いるものや、交差検証によって擬似的に手持ちのサンプルから算出するものもあり、それぞれのシチュエーションに応じて使い分けることが望ましいとされます。
いかなる統計学的な取り組みであれ、汎化性能を確保することは非常に重要であると個人的には考えています。
関連記事
-
-
QUORA ゴルビーはソ連を潰したのにも関わらず、なぜ評価されているのか?
ゴルバチョフ書記長ってソ連邦を潰した人でもありますよね。人格的に優れた人だったのかもしれませんが
-
-
『日本軍閥暗闘史』田中隆吉 昭和22年 陸軍大臣と総理大臣の兼務の意味
人事局補任課長 武藤章 貿易省設置を主張 満州事変 ヤール河越境は 神田正種中佐の独断
-
-
河口慧海著『チベット旅行記』の記述 「ダージリン賛美が紹介されている」
旅行先としてのチベットは、やはり学校で習った河口慧海の話が頭にあって行ってみたいとおもったのであるか
-
-
政治制度から考える国会のあるべき姿 大山礼子 公研2019年1月号
必要なのは与党のチェック機能 どこの国でも野党に政策決定をひっくり返す力はない 民主主義は多数決だ
-
-
公研2019年2月号 記事二題 貧富の格差、言葉の発生
●「貧富の格差と世界の行方」津上俊哉 〇トーマスピケティ「21世紀の資本」
-
-
ヘンリーSストークス『英国人記者からみた連合国先勝史観の虚妄』2013年祥伝社
2016年10月19,20日に、父親の遺骨を浄土真宗高田派の総本山専修寺(せんじゅじ)に納骨をするた
-
-
『金融資本市場のフロンティア 東京大学で学ぶFinTech、金融規制、資本市場』に学ぶべきMaaS
本書を読んで、アンバンドリングとリバンドリングという言葉に出会った。金融機能が、テクノロジーが導入
-
-
人流・観光学概論修正原稿資料
◎コロナ等危機管理関係 19世紀の貧困に直面した時、自由主義経済学者は「氷のように
-
-
ダークツーリズムと『脳科学からみた「祈り」』中野信子著
ダークツ―リズム 怖いもの見たさの時の脳内物質を調査する必要がある。その調査をせずして、ダークツー
