Quora 「汎化性能」
公開日:
:
最終更新日:2023/05/29
出版・講義資料
すべてのデータサイエンティストが知っておくべき、統計学の重要なトピックはなんでしょうか?
個人的には「汎化性能」だと思います。
上の図はその説明でよく用いられるもので、実際には3次多項式にノイズを加えて生成したサンプル(白い円)に多項式フィッティングを行った結果です。3次多項式モデル(赤線)だと全ての円は通らないながらも滑らかで綺麗に全体のトレンドに沿った曲線が描けますが、9次多項式モデル(青線)だとより多くの円を通りながらもぐにゃぐにゃして全体のトレンドに合わない奇妙な曲線を描いてしまいます。
それもそのはずで、3次モデルは程よく真の値(3次多項式に従う)を捉えているのに対して、9次モデルは真の値のみならずノイズにまでフィットしてしまっているからです。この場合、両端(-3 or 3)の外側にまでサンプルを拡張した場合、3次モデルは適切にフィットするであろう一方、9次モデルはあらぬ方向に吹っ飛んでしまって全くフィットしないであろうことが容易に想像できるかと思います。
このように、ノイズに振り回されず程よく全体のトレンドを捉え、適切にまだ見ぬ未知データにうまくモデルを当てはめられる(適切に予測できる)度合いのことを「汎化性能」と呼びます。
統計学とは、「標本抽出(サンプリング)された少ない標本から背後にある(見えない)母集団の性質を推定する営み」だとされます。この定義に従えば、汎化性能を確保することは統計学を統計学たらしめる本質的な要件であるように見えます。
言い換えると、例えばt検定やカイ二乗検定のような仮説検定から重回帰分析のような線形モデル、ロジスティック回帰などの一般化線形モデル、さらには統計的学習の手法に基づく機械学習領域におけるDeep Learningのような高度なモデルであっても全く同じことが言えるということだと思います。
汎化性能を評価する方法は世の中には色々あり、例えばAICのような情報量規準を用いるものや、交差検証によって擬似的に手持ちのサンプルから算出するものもあり、それぞれのシチュエーションに応じて使い分けることが望ましいとされます。
いかなる統計学的な取り組みであれ、汎化性能を確保することは非常に重要であると個人的には考えています。
関連記事
-
-
QUORAにみる観光資源 なぜ、現代に、クラシックの大作曲家が輩出されないのですか?大昔の作曲家のみで、例えば1960年生まれの大作曲家なんていません。なぜでしょうか?
とっくの昔に旬を過ぎている質問と思われますが、面白そうなので回答します。 一般的に思われてい
-
-
シャマニズム ~モンゴル、韓国の宗教事情~プラス『易経』
シャーマン的呪術は筮竹による数字と占いのテキストを使った方法にかわった。このことにより特殊能力者でな
-
-
戦略論体系⑩石原莞爾(facebook2021年5月23日投稿文)「極限まで行くと、戦争はなくなるが、闘争心はなくならないので、国家単位の対立がなくなるという。」
石原莞爾の『世界最終戦論』が含まれている『戦略論体系⑩石原莞爾』を港区図書館で借りて読んだ。同書の存
-
-
『兵士のアイドル』押田信子著 盧溝橋事件勃発で、新聞の報道合戦開始 慰問団ブーム
陸軍恤兵(ジュッペイ)部 日清戦争時に少なくともそのたぐいの組織はできていた?
-
-
有名なピカソの贋作現象 椿井文書(日本最大級偽文書)青木栄一『鉄道忌避伝説の謎』ピルトダウン原人
下記写真は、英国イースト・サセックス州アックフィールド(Uckfield)近郊のピルトダウンにある
-
-
『起業の天才 江副浩正 8兆円企業を作った男』大西康之
父親の縁で小運送協会が運営していた学生寮に大学1,2年と在籍していた。その時の一年先輩に理科二類
-
-
Oneida Community Mansion House
https://www.bbc.com/reel/playlist/hidden-historie
-
-
『官僚制としての日本陸軍』北岡伸一著 筑摩書房 を読んで、歴史認識と観光を考える
○ 政治と軍 「軍が政治に不関与」とは竹橋事件を契機に明治政府が作ったことである。そもそも明治国家
-
-
GetTaxi Via (company) YANDEX
Gett, previously known as GetTaxi, is a global on-
-
-
矢部 宏治氏の「なぜ日本はアメリカの「いいなり」なのか?知ってはいけないウラの掟」
http://gendai.ismedia.jp/articles/-/52466 外務省がつ
