Quora 「汎化性能」
公開日:
:
最終更新日:2023/05/29
出版・講義資料
すべてのデータサイエンティストが知っておくべき、統計学の重要なトピックはなんでしょうか?
個人的には「汎化性能」だと思います。
上の図はその説明でよく用いられるもので、実際には3次多項式にノイズを加えて生成したサンプル(白い円)に多項式フィッティングを行った結果です。3次多項式モデル(赤線)だと全ての円は通らないながらも滑らかで綺麗に全体のトレンドに沿った曲線が描けますが、9次多項式モデル(青線)だとより多くの円を通りながらもぐにゃぐにゃして全体のトレンドに合わない奇妙な曲線を描いてしまいます。
それもそのはずで、3次モデルは程よく真の値(3次多項式に従う)を捉えているのに対して、9次モデルは真の値のみならずノイズにまでフィットしてしまっているからです。この場合、両端(-3 or 3)の外側にまでサンプルを拡張した場合、3次モデルは適切にフィットするであろう一方、9次モデルはあらぬ方向に吹っ飛んでしまって全くフィットしないであろうことが容易に想像できるかと思います。
このように、ノイズに振り回されず程よく全体のトレンドを捉え、適切にまだ見ぬ未知データにうまくモデルを当てはめられる(適切に予測できる)度合いのことを「汎化性能」と呼びます。
統計学とは、「標本抽出(サンプリング)された少ない標本から背後にある(見えない)母集団の性質を推定する営み」だとされます。この定義に従えば、汎化性能を確保することは統計学を統計学たらしめる本質的な要件であるように見えます。
言い換えると、例えばt検定やカイ二乗検定のような仮説検定から重回帰分析のような線形モデル、ロジスティック回帰などの一般化線形モデル、さらには統計的学習の手法に基づく機械学習領域におけるDeep Learningのような高度なモデルであっても全く同じことが言えるということだと思います。
汎化性能を評価する方法は世の中には色々あり、例えばAICのような情報量規準を用いるものや、交差検証によって擬似的に手持ちのサンプルから算出するものもあり、それぞれのシチュエーションに応じて使い分けることが望ましいとされます。
いかなる統計学的な取り組みであれ、汎化性能を確保することは非常に重要であると個人的には考えています。
関連記事
-
-
御手洗大輔「示威の自由に関する日中比較と日本人の課題」
『横浜市立大学論叢』第68巻社会科学系列2号 御手洗大輔「示威の自由に関する日中比較と日本人の課題」
-
-
「第3章 流入する他所者と飯盛女」武林弘恵著『旅と交流に見る近世社会』清文堂
旅と交流にみる近世社会 高橋陽一 編著
-
-
人流・観光学概論修正原稿資料
◎コロナ等危機管理関係 19世紀の貧困に直面した時、自由主義経済学者は「氷のように
-
-
『逆説の日本経済論』貿易決済のための為替取引量は、今や東京為替市場で見れば、その取引量の8分の1程度に落ちている。それ以外は資本取引
貿易決済のための為替取引量は、今や東京為替市場で見れば、その取引量の8分の1程度に落ちている。それ以
-
-
『富嶽旅百景』青柳周一 観光地域史の試み
港区図書館で借りだして読んだ。本書は、1998年東北大学提出学位論文がベースとなっている。外部か
-
-
学士会報926号特集 「混迷の中東・欧州をトルコから読み解く」「EUはどこに向かうのか」読後メモ
「混迷の中東」内藤正典 化学兵器の使用はアサド政権の犯行。フセインと違い一切証拠を残さないが、イス
-
-
『コロナ危機が浮き彫りにした日本の統治機構とその弱点』読書メモ 竹中治堅・手塚洋輔 公研no.695 2021.7
首相の権限は強くない例 安倍首相2020年4月6日にコロナ患者用の病床を5万床にすると発言、しかし
-
-
「脳コンピューター・インターフェイスの実用化には何が必要か」要点
https://www.technologyreview.jp/s/62158/for-brain-
-
-
「温度生物学」富永真琴 学士会会報2019年Ⅱ pp52-62
(観光学研究に感性アナライザー等を用いたデータを蓄積した研究が必要と主張しているが、生物学では温
