*

Quora 「汎化性能」

公開日: : 最終更新日:2023/05/29 出版・講義資料

すべてのデータサイエンティストが知っておくべき、統計学の重要なトピックはなんでしょうか?

個人的には「汎化性能」だと思います。

上の図はその説明でよく用いられるもので、実際には3次多項式にノイズを加えて生成したサンプル(白い円)に多項式フィッティングを行った結果です。3次多項式モデル(赤線)だと全ての円は通らないながらも滑らかで綺麗に全体のトレンドに沿った曲線が描けますが、9次多項式モデル(青線)だとより多くの円を通りながらもぐにゃぐにゃして全体のトレンドに合わない奇妙な曲線を描いてしまいます。

それもそのはずで、3次モデルは程よく真の値(3次多項式に従う)を捉えているのに対して、9次モデルは真の値のみならずノイズにまでフィットしてしまっているからです。この場合、両端(-3 or 3)の外側にまでサンプルを拡張した場合、3次モデルは適切にフィットするであろう一方、9次モデルはあらぬ方向に吹っ飛んでしまって全くフィットしないであろうことが容易に想像できるかと思います。

このように、ノイズに振り回されず程よく全体のトレンドを捉え、適切にまだ見ぬ未知データにうまくモデルを当てはめられる(適切に予測できる)度合いのことを「汎化性能」と呼びます。

統計学とは、「標本抽出(サンプリング)された少ない標本から背後にある(見えない)母集団の性質を推定する営み」だとされます。この定義に従えば、汎化性能を確保することは統計学を統計学たらしめる本質的な要件であるように見えます。

言い換えると、例えばt検定やカイ二乗検定のような仮説検定から重回帰分析のような線形モデル、ロジスティック回帰などの一般化線形モデル、さらには統計的学習の手法に基づく機械学習領域におけるDeep Learningのような高度なモデルであっても全く同じことが言えるということだと思います。

汎化性能を評価する方法は世の中には色々あり、例えばAICのような情報量規準を用いるものや、交差検証によって擬似的に手持ちのサンプルから算出するものもあり、それぞれのシチュエーションに応じて使い分けることが望ましいとされます。

いかなる統計学的な取り組みであれ、汎化性能を確保することは非常に重要であると個人的には考えています。

関連記事

書評『法とフィクション』来栖三郎 東大出版会

観光の定義においても、自由意思を前提とするが、法律、特に刑法では自由意思が大前提。しかし、フィク

記事を読む

no image

ジャパンナウ観光情報協会機関紙138号原稿『コロナ禍に一人負けの人流観光ビジネス』

 コロナ禍でも、世界経済はそれほど落ち込んでいないようだ。PAYPALによると、世界のオンライン

記事を読む

no image

『サカナとヤクザ』鈴木智彦著 食と観光、フードツーリズム研究者に求められる視点

築地市場から密漁団まで、決死の潜入ルポ! アワビもウナギもカニも、日本人の口にしている大

記事を読む

『近世社寺参詣の研究』原淳一郎

facebook投稿文章 「原淳一郎教授の博士論文「近世社寺参詣の研究」を港区図書館で借りて

記事を読む

no image

三谷太一郎『日本の近代とは何であったか』なぜ日本に政党政治が成立したのか

1 なぜ日本に政党政治が成立したのか (これまではなぜ政党政治は短命に終わったかを論じてきた)

記事を読む

「起業という幻想」白水社 スコット・A・シェーン 職を転々として起業に身をやつす米国人の姿は、産学官が一体になって起業を喧伝する日本社会に一石投じることは間違いない。

  マイクロソフトのビル・ゲイツ、アップルを立ち上げたス

記事を読む

no image

聴覚 十二音技法

https://youtu.be/HeXEzMWi2EI 時代は無調の音楽に対する準備

記事を読む

no image

電力、情報、金融の融合

「ブロックチェーンとエネルギーの将来」阿部力也 公研2019No673 電気の値段は下がって

記事を読む

『初期仏教』 馬場紀寿著

初期仏教は全能の神を否定 神々も迷える存在であるので、祈りの対象とならない

記事を読む

no image

観光資源の評価に係る例 米国の有名美術館に偏り、収蔵作品は「白人男性」に集中

https://www.technologyreview.jp/s/117648/more-th

記事を読む

PAGE TOP ↑