Quora 「汎化性能」
公開日:
:
最終更新日:2023/05/29
出版・講義資料
すべてのデータサイエンティストが知っておくべき、統計学の重要なトピックはなんでしょうか?
個人的には「汎化性能」だと思います。
上の図はその説明でよく用いられるもので、実際には3次多項式にノイズを加えて生成したサンプル(白い円)に多項式フィッティングを行った結果です。3次多項式モデル(赤線)だと全ての円は通らないながらも滑らかで綺麗に全体のトレンドに沿った曲線が描けますが、9次多項式モデル(青線)だとより多くの円を通りながらもぐにゃぐにゃして全体のトレンドに合わない奇妙な曲線を描いてしまいます。
それもそのはずで、3次モデルは程よく真の値(3次多項式に従う)を捉えているのに対して、9次モデルは真の値のみならずノイズにまでフィットしてしまっているからです。この場合、両端(-3 or 3)の外側にまでサンプルを拡張した場合、3次モデルは適切にフィットするであろう一方、9次モデルはあらぬ方向に吹っ飛んでしまって全くフィットしないであろうことが容易に想像できるかと思います。
このように、ノイズに振り回されず程よく全体のトレンドを捉え、適切にまだ見ぬ未知データにうまくモデルを当てはめられる(適切に予測できる)度合いのことを「汎化性能」と呼びます。
統計学とは、「標本抽出(サンプリング)された少ない標本から背後にある(見えない)母集団の性質を推定する営み」だとされます。この定義に従えば、汎化性能を確保することは統計学を統計学たらしめる本質的な要件であるように見えます。
言い換えると、例えばt検定やカイ二乗検定のような仮説検定から重回帰分析のような線形モデル、ロジスティック回帰などの一般化線形モデル、さらには統計的学習の手法に基づく機械学習領域におけるDeep Learningのような高度なモデルであっても全く同じことが言えるということだと思います。
汎化性能を評価する方法は世の中には色々あり、例えばAICのような情報量規準を用いるものや、交差検証によって擬似的に手持ちのサンプルから算出するものもあり、それぞれのシチュエーションに応じて使い分けることが望ましいとされます。
いかなる統計学的な取り組みであれ、汎化性能を確保することは非常に重要であると個人的には考えています。
関連記事
-
-
Quora 物語などによくあるように、中世ヨーロッパの貴族たちは国民から搾取してすごく贅沢な暮らしをしていたのですか?
中世に今日と同じ意味での「国民」はまだ存在しません。領主が農民を支配し、領主同士に主従関係
-
-
世界人流観光施策風土記 ネットで見つけたチベット論議
立場によってチベットの評価が大きく違うのは仕方がないので、いろいろ読み漁ってみた。 〇 200
-
-
The best passports to hold in 2021 are: 1. Japan (193 destinations)
https://www.passportindex.org/comparebyPassport.p
-
-
『1964 東京ブラックホール』貴志謙介
前回の東京五輪の世相を描いた本書を港区図書館で借りて読む。今回のコロナと五輪の関係が薄らぼんやりと
-
-
書評『日本人になった祖先たち』篠田謙一 NHK出版 公研2020.1「人類学が迫る日本人の起源」
分子人類学的アプローチ SPN(一塩基多型)というDNAの変異を検出する技術が21
-
-
『はじめての認知科学』新曜社 人工知能研究(人の知性を人工的に作ろうという研究)と認知科学研究(人の心の成り立ちを探る研究)は双子
人工知能研究(人の知性を人工的に作ろうという研究)と認知科学研究(人の心の成り立ちを探る研究)は
-
-
QUORAにみる歴史認識 アルメニア虐殺
アルメニア虐殺の歴史的背景はあまり知らてないように思いますが、20世紀の悲惨な虐殺の一ページとし
-
-
『サカナとヤクザ』鈴木智彦著 食と観光、フードツーリズム研究者に求められる視点
築地市場から密漁団まで、決死の潜入ルポ! アワビもウナギもカニも、日本人の口にしている大
-
-
矢部 宏治氏の「なぜ日本はアメリカの「いいなり」なのか?知ってはいけないウラの掟」
http://gendai.ismedia.jp/articles/-/52466 外務省がつ
