Quora 「汎化性能」
公開日:
:
最終更新日:2023/05/29
出版・講義資料
すべてのデータサイエンティストが知っておくべき、統計学の重要なトピックはなんでしょうか?
個人的には「汎化性能」だと思います。
上の図はその説明でよく用いられるもので、実際には3次多項式にノイズを加えて生成したサンプル(白い円)に多項式フィッティングを行った結果です。3次多項式モデル(赤線)だと全ての円は通らないながらも滑らかで綺麗に全体のトレンドに沿った曲線が描けますが、9次多項式モデル(青線)だとより多くの円を通りながらもぐにゃぐにゃして全体のトレンドに合わない奇妙な曲線を描いてしまいます。
それもそのはずで、3次モデルは程よく真の値(3次多項式に従う)を捉えているのに対して、9次モデルは真の値のみならずノイズにまでフィットしてしまっているからです。この場合、両端(-3 or 3)の外側にまでサンプルを拡張した場合、3次モデルは適切にフィットするであろう一方、9次モデルはあらぬ方向に吹っ飛んでしまって全くフィットしないであろうことが容易に想像できるかと思います。
このように、ノイズに振り回されず程よく全体のトレンドを捉え、適切にまだ見ぬ未知データにうまくモデルを当てはめられる(適切に予測できる)度合いのことを「汎化性能」と呼びます。
統計学とは、「標本抽出(サンプリング)された少ない標本から背後にある(見えない)母集団の性質を推定する営み」だとされます。この定義に従えば、汎化性能を確保することは統計学を統計学たらしめる本質的な要件であるように見えます。
言い換えると、例えばt検定やカイ二乗検定のような仮説検定から重回帰分析のような線形モデル、ロジスティック回帰などの一般化線形モデル、さらには統計的学習の手法に基づく機械学習領域におけるDeep Learningのような高度なモデルであっても全く同じことが言えるということだと思います。
汎化性能を評価する方法は世の中には色々あり、例えばAICのような情報量規準を用いるものや、交差検証によって擬似的に手持ちのサンプルから算出するものもあり、それぞれのシチュエーションに応じて使い分けることが望ましいとされます。
いかなる統計学的な取り組みであれ、汎化性能を確保することは非常に重要であると個人的には考えています。
関連記事
-
-
quora 中世、近世のヨーロッパで、10代の女性がどのような生活を送っていたのか教えてくれませんか?貴族階級/庶民とそれぞれ、何をしていたのでしょうか?
何で10代の女性限定なのかよくわかりませんが、知っている範囲で。 中世の庶民は、ほぼ
-
-
『シュリューマン旅行記』 清国・日本 日本人の宗教観
『シュリューマン旅行記 清国・日本』石井和子訳 シュリューマンは1865年世界漫遊の旅に出か
-
-
保護中: 蓮池透『拉致被害者たちを見殺しにした安倍晋三と冷血な面々』
アマゾン書評 本書を読むに連れ安倍晋三とその取巻き政治家・官僚の身勝手さと自分たちの利権・宣伝
-
-
DNAで語る日本人起源論 篠田謙一 をよんで(めも)
篠田氏は、義務教育の教科書で、人類の初期拡散の様子を重要事項として取り上げるべきとする。 私も大賛
-
-
ゆっくり解説】突然変異5選:新遺伝子はどうやって生まれるのか?【 進化 / 遺伝 子 / 科学 】
https://youtu.be/bGthe_Aw1gQ ミトコンドリアと真核生物の起源:生物進化
-
-
コロナ後の日本観光業 キーワード 現金給付政策を長引かせないこと、採算性の向上、デジタル化、中国等指向
今後コロナ感染が鎮静化に向かうことが期待されているおり、次の課題はコロナ後の回復に向けての施策に重
-
-
観光立国から経済立国へ Recommendations with Respect to U.S.Policy toward Japan(NSC13/2)
この翻訳テキストは、細谷千博他『日米関係資料集1945~97』(東京大学出版会,1999)<当館
-
-
保護中: 『中世を旅する人びと』 阿部 謹也著を読んで
西洋中世における遍歴職人の「旅」とは、糧を得るための苦行であり、親方の呪縛から解放される喜びでもあっ
-
-
生涯弁護人事件ファイル2 広中惇一郎
第一章 報道が作り出す犯罪 安部英医師薬害エイズ事件 アメリカの人気番組 LAW &
-
-
QUORA 李鴻章(リー・ホンチャン=President Lee)。
学校では教えてくれない大事なことや歴史的な事実は何ですか? 李鴻章(リー・ホンチャン=Pre
