*

Quora 「汎化性能」

公開日: : 最終更新日:2023/05/29 出版・講義資料

すべてのデータサイエンティストが知っておくべき、統計学の重要なトピックはなんでしょうか?

個人的には「汎化性能」だと思います。

上の図はその説明でよく用いられるもので、実際には3次多項式にノイズを加えて生成したサンプル(白い円)に多項式フィッティングを行った結果です。3次多項式モデル(赤線)だと全ての円は通らないながらも滑らかで綺麗に全体のトレンドに沿った曲線が描けますが、9次多項式モデル(青線)だとより多くの円を通りながらもぐにゃぐにゃして全体のトレンドに合わない奇妙な曲線を描いてしまいます。

それもそのはずで、3次モデルは程よく真の値(3次多項式に従う)を捉えているのに対して、9次モデルは真の値のみならずノイズにまでフィットしてしまっているからです。この場合、両端(-3 or 3)の外側にまでサンプルを拡張した場合、3次モデルは適切にフィットするであろう一方、9次モデルはあらぬ方向に吹っ飛んでしまって全くフィットしないであろうことが容易に想像できるかと思います。

このように、ノイズに振り回されず程よく全体のトレンドを捉え、適切にまだ見ぬ未知データにうまくモデルを当てはめられる(適切に予測できる)度合いのことを「汎化性能」と呼びます。

統計学とは、「標本抽出(サンプリング)された少ない標本から背後にある(見えない)母集団の性質を推定する営み」だとされます。この定義に従えば、汎化性能を確保することは統計学を統計学たらしめる本質的な要件であるように見えます。

言い換えると、例えばt検定やカイ二乗検定のような仮説検定から重回帰分析のような線形モデル、ロジスティック回帰などの一般化線形モデル、さらには統計的学習の手法に基づく機械学習領域におけるDeep Learningのような高度なモデルであっても全く同じことが言えるということだと思います。

汎化性能を評価する方法は世の中には色々あり、例えばAICのような情報量規準を用いるものや、交差検証によって擬似的に手持ちのサンプルから算出するものもあり、それぞれのシチュエーションに応じて使い分けることが望ましいとされます。

いかなる統計学的な取り組みであれ、汎化性能を確保することは非常に重要であると個人的には考えています。

関連記事

『「源氏物語」と戦争』有働裕 教科書に採用されたのは意外に遅く、1938年。なぜ戦争に向かうこの時期に、退廃的とも言える源氏物語が教科書に採用されたのか

アマゾン書評 源氏物語といえば、枕草子と並んで国語教科書に必ず登場する古典である。

記事を読む

no image

メンタル統合 

人類の文化的躍進のきっかけは、7万年前に起きた「脳の突然変異」だった:研究結果 https:

記事を読む

no image

ホーキング語録

I have never found that my lack of social graces

記事を読む

『大本営発表』辻田真佐憲

記事を読む

no image

『婚姻の話』 柳田國男

日本は見合い結婚の国、それが日本の伝統文化である、という説に、柳田ははっきりノーを突き付ける。

記事を読む

no image

『2050年のメディア』下山進

日本の新聞がこの10年で1000万部の部数を失っていることを知り、2018年4月より、慶應義塾大学

記事を読む

アメリカの原爆神話と情報操作 「広島」を歪めたNYタイムズ記者とハーヴァード学長 (朝日選書) とその書評

広島・長崎に投下された原爆について、いまなお多数のアメリカ国民が5つの神話・・・========

記事を読む

no image

『天皇と日本人』ケネス・ルオフ

P114 マイノリティグループへの関心 p.115 皇室と自衛隊 他の国の象徴君主制と大きく

記事を読む

『漁業という日本の問題』勝川俊雄 日本人は思ったほど魚を食べてない。伝統の和食イメージも変化

マスコミによってつくられた常識は、一度は疑ってかかる必要があるということを感じていますが、「日本人は

記事を読む

no image

GetTaxi  Via (company)  YANDEX

Gett, previously known as GetTaxi, is a global on-

記事を読む

PAGE TOP ↑