Quora 「汎化性能」
公開日:
:
最終更新日:2023/05/29
出版・講義資料
すべてのデータサイエンティストが知っておくべき、統計学の重要なトピックはなんでしょうか?
個人的には「汎化性能」だと思います。
上の図はその説明でよく用いられるもので、実際には3次多項式にノイズを加えて生成したサンプル(白い円)に多項式フィッティングを行った結果です。3次多項式モデル(赤線)だと全ての円は通らないながらも滑らかで綺麗に全体のトレンドに沿った曲線が描けますが、9次多項式モデル(青線)だとより多くの円を通りながらもぐにゃぐにゃして全体のトレンドに合わない奇妙な曲線を描いてしまいます。
それもそのはずで、3次モデルは程よく真の値(3次多項式に従う)を捉えているのに対して、9次モデルは真の値のみならずノイズにまでフィットしてしまっているからです。この場合、両端(-3 or 3)の外側にまでサンプルを拡張した場合、3次モデルは適切にフィットするであろう一方、9次モデルはあらぬ方向に吹っ飛んでしまって全くフィットしないであろうことが容易に想像できるかと思います。
このように、ノイズに振り回されず程よく全体のトレンドを捉え、適切にまだ見ぬ未知データにうまくモデルを当てはめられる(適切に予測できる)度合いのことを「汎化性能」と呼びます。
統計学とは、「標本抽出(サンプリング)された少ない標本から背後にある(見えない)母集団の性質を推定する営み」だとされます。この定義に従えば、汎化性能を確保することは統計学を統計学たらしめる本質的な要件であるように見えます。
言い換えると、例えばt検定やカイ二乗検定のような仮説検定から重回帰分析のような線形モデル、ロジスティック回帰などの一般化線形モデル、さらには統計的学習の手法に基づく機械学習領域におけるDeep Learningのような高度なモデルであっても全く同じことが言えるということだと思います。
汎化性能を評価する方法は世の中には色々あり、例えばAICのような情報量規準を用いるものや、交差検証によって擬似的に手持ちのサンプルから算出するものもあり、それぞれのシチュエーションに応じて使い分けることが望ましいとされます。
いかなる統計学的な取り組みであれ、汎化性能を確保することは非常に重要であると個人的には考えています。
関連記事
-
-
『天皇と日本人』ケネス・ルオフ
P114 マイノリティグループへの関心 p.115 皇室と自衛隊 他の国の象徴君主制と大きく
-
-
QUORAに見る観光資源 マヤ語とは何ですか?
マヤ語とは何ですか? マヤ語の研究を高校生にして大きく押し進め、現在もマヤ文化と考
-
-
南米「棄民」政策の実像 遠藤十亜希著 岩波現代全書 最も南米移民を排出したのが最貧困地帯たる東北ではなく北部九州~山陽ラインだったのは何故か?
19世紀末から20世紀半ばまで、約31万人の日本人が、新天地を求めて未知の地ラテンアメリカに移住
-
-
Transatlantic Sins お爺さんは奴隷商人だった ナイジェリア人小説家の話
https://www.bbc.co.uk/programmes/w3cswg9n BBCの
-
-
Quora Covid-19の死亡者はアメリカが27.9万人、日本が2210人 (12/06現在) です。日本では医療崩壊の危険が差し迫っているとの報道がありますが、アメリカに比べて医療体制が貧弱なのでしょうか?
12月16日現在、アメリカでの死亡者数は約30万4千人、そして日本での死亡者数は2600名足らずで
-
-
『サカナとヤクザ』鈴木智彦著 食と観光、フードツーリズム研究者に求められる視点
築地市場から密漁団まで、決死の潜入ルポ! アワビもウナギもカニも、日本人の口にしている大
-
-
保護中: 『植物は未来を知っている』ステファノ・マンクーゾ 、動物が必要な栄養を見つけるために「移動」することを選択。他方、植物は動かないことを選び、生存に必要なエネルギーを太陽から手に入れるこにしました。それでは、動かない植物のその適応力を少しピックアップ
『植物は<未来>を知っている――9つの能力から芽生えるテクノロジー革命』(ステファノ・マンクーゾ著、
-
-
歴史認識と書評『暗闘 スターリン、トルーマンと日本降伏 』長谷川毅
日本降服までの3ヶ月間を焦点に、米ソ間の日本及び極東地域での主導権争いを克明に検証した本。
-
-
『眼の誕生』アンドリュー・パーカー 感覚器官の進化はおそらく脳よりも前だった。脳は処理すべき情報をもたらす感覚器より前には存在する必要がなかった
眼の発達に関して新しい役割を獲得する前には、異なった機能を持っていたはず しエダア
-
-
2023/7/18 【未来予測】地球の課題を解決するのは「人流ビッグデータ」だ ジオテクノロジーズ | NewsPicks Studios
https://newspicks.com/news/8641407/body/ 若い人達も人