Quora 「汎化性能」
公開日:
:
最終更新日:2023/05/29
出版・講義資料
すべてのデータサイエンティストが知っておくべき、統計学の重要なトピックはなんでしょうか?
個人的には「汎化性能」だと思います。
上の図はその説明でよく用いられるもので、実際には3次多項式にノイズを加えて生成したサンプル(白い円)に多項式フィッティングを行った結果です。3次多項式モデル(赤線)だと全ての円は通らないながらも滑らかで綺麗に全体のトレンドに沿った曲線が描けますが、9次多項式モデル(青線)だとより多くの円を通りながらもぐにゃぐにゃして全体のトレンドに合わない奇妙な曲線を描いてしまいます。
それもそのはずで、3次モデルは程よく真の値(3次多項式に従う)を捉えているのに対して、9次モデルは真の値のみならずノイズにまでフィットしてしまっているからです。この場合、両端(-3 or 3)の外側にまでサンプルを拡張した場合、3次モデルは適切にフィットするであろう一方、9次モデルはあらぬ方向に吹っ飛んでしまって全くフィットしないであろうことが容易に想像できるかと思います。
このように、ノイズに振り回されず程よく全体のトレンドを捉え、適切にまだ見ぬ未知データにうまくモデルを当てはめられる(適切に予測できる)度合いのことを「汎化性能」と呼びます。
統計学とは、「標本抽出(サンプリング)された少ない標本から背後にある(見えない)母集団の性質を推定する営み」だとされます。この定義に従えば、汎化性能を確保することは統計学を統計学たらしめる本質的な要件であるように見えます。
言い換えると、例えばt検定やカイ二乗検定のような仮説検定から重回帰分析のような線形モデル、ロジスティック回帰などの一般化線形モデル、さらには統計的学習の手法に基づく機械学習領域におけるDeep Learningのような高度なモデルであっても全く同じことが言えるということだと思います。
汎化性能を評価する方法は世の中には色々あり、例えばAICのような情報量規準を用いるものや、交差検証によって擬似的に手持ちのサンプルから算出するものもあり、それぞれのシチュエーションに応じて使い分けることが望ましいとされます。
いかなる統計学的な取り組みであれ、汎化性能を確保することは非常に重要であると個人的には考えています。
関連記事
-
-
Quora 古代日本語の発音
youtubeで、「百人一首を当時の発音で朗読」という動画を見ました。奈良・飛鳥時代の上代日本語
-
-
『天皇と日本人』ケネス・ルオフ
P114 マイノリティグループへの関心 p.115 皇室と自衛隊 他の国の象徴君主制と大きく
-
-
『中国人のこころ』小野秀樹
本書を読んで、率直に感じたことは、自動翻訳やAIができる前に、日本型AI、中国型自動翻訳が登場す
-
-
『脳の誕生』大隅典子 Amazon書評
http:// www.pnas.org/content/supp1/2004/05/13/040
-
-
書評『ペストの記憶』デフォー著
ロビンソン・クルーソーの作者ダニエル・デフォーは、17世紀のペストの流行に関し、ロンドン市長及び
-
-
公研2019年2月号 記事二題 貧富の格差、言葉の発生
●「貧富の格差と世界の行方」津上俊哉 〇トーマスピケティ「21世紀の資本」
-
-
観光資源評価の論理に使える面白い回答 「なぜ中国料理は油濃いのか」に対して、「日本人は油濃いのが好きなのですね」という答え
中華料理や台湾料理には、油を大量に使用した料理が非常に多いですが、そうなった理由はあるのでしょうか
-
-
QUORAにみる観光資源 なぜ、現代に、クラシックの大作曲家が輩出されないのですか?大昔の作曲家のみで、例えば1960年生まれの大作曲家なんていません。なぜでしょうか?
とっくの昔に旬を過ぎている質問と思われますが、面白そうなので回答します。 一般的に思われてい
-
-
ジョン・アーリ『モビリィティーズ』吉原直樹・伊藤嘉高訳 作品社
コロナ禍で、自動車の負の側面をとらえ、会うことの重要性を唱えているが、いずれ改訂版を出さざるを得な
-
-
若者の課外旅行離れは本当か?観光学術学会論文の評価に疑問を呈す
「若者の海外旅行離れ」を読み解く:観光行動論からのアプローチ』という法律文化社から出版された書籍が
