【告知】多重検定の問題とは何か? 解説動画を公開

告知

告知です。

スキマ時間でまるっと医療統計を解説する Youtube チャンネル「スキマル」において,動画 第 6 弾を up しました(▼)。

▲ 上記チャンネルは共同制作者と二人体制で運営しています。

多重検定とは何か

多重検定の問題とは要するに

統計学的仮説検定を繰り返せば
「まぐれ当たり(=αエラー)」がどんどん出てくるよ

だから

ずっと同じ有意水準で検定し続けるのは危険だよ

というお話です。

単純なことではあるのですが,仮説検定の基本的な部分が抑えられていないと混乱しやすいところがあります。文面だけでの説明ではなかなかイメージを伝えきれないなあと思っておりました。

しかし動画の力を借りることで,あまり数理統計の細部は掘り下げすぎず,程よい「道先案内人」的なものができたと自負しています。

ガチ勢の方々からすると不十分な内容かとは思いますが……ひとまず間口を広げることがこのチャンネルの目標なので,そこは達成できる内容にまとめられたかと思います。

過去動画からの連続モノ

今回の内容は,これまでに取り上げた

  • 推測統計とは何か|動画
  • 「統計学的に有意」とは何か?|動画

と連続的なものになっています。

前回までの内容が前提知識になっているので,もし上記の内容がまだマスターできていないという方は,もう一度見返していただけたら嬉しいです。

また同じく αエラーやβエラーに関する細かい説明は割愛しているので,ご存知ないかたは別途以下の記事などをご確認いただければ幸いです。

合わせて読みたい

この記事では 〈αエラー〉と〈βエラー〉とは何なのか? ということについて,基本的内容に絞ってまとめます。 さらりと解説されて終わってしまうことが多い概念ですが,その本質的な部分をしっかり理解しておかないと,研究結果の解釈に大きな誤解[…]

─ ads ─

多重検定の重要性

しかし数ある統計概念の中でも,「知ってるか知らないか」でこれほど世界観が変わってしまう概念もあまりないのではと思っています。

多重検定の問題を知ると,観察研究や統計モデルがどれほど深い「恣意性の問題」を抱えているか実感します。研究の限界性に対する視力というか,解像度が高くなる感じです。

私も初めて勉強したときは

あの試験の二次エンドポイントも・・?

あの試験の中間解析結果も・・?

あの観察研究の多変量解析の因子も・・?

と疑心暗鬼になりました😌

ただこれも程度問題で,

  • 多重検定はすべて厳格に補正しなければならない!
  • すべてを〈検証〉しなければならない!
  • 検証的試験以外は信用できない!!

という極論が好ましいわけではありません。

「有意」とは何なのか

結局しょせん確率的に得られたに過ぎない標本データを元に「有意か」「有意でないか」──つまり母集団でも差がありそうと言っていいのか,だめなのか──と極端な二項対立に持ち込もうとすること自体に限界はあります。

母集団を直接調べていない以上,そこには確率的に必ずエラーが紛れ込みますし,バイアスのリスクもあります。

しかし「本当は母集団での結論は違うかもしれない」とばかり言っていても,前には進めません。私たちはどこかで「決断」をしなければならず,そのための「妥当なライン=有意水準」も自ら決めるしかありません。

そのとき,

どこまで厳格な線(=有意水準)を引くべきか?

「そのデータの出自次第」あるいは「そのデータの使用目的次第」ということだと思います。

「多重検定の補正をどこまで厳格に行うべきか」もその延長線上の話になります。

そうした話に踏み込むと〈仮説検証的研究〉〈仮説生成的研究〉という話につながってくるので,その辺りもざっくりお伝えできるように動画の構成を組んだつもりです。

合わせて読みたい

この記事では,医薬品に関するリテラシーとして必須知識である 「仮説検証」と「仮説探索/提唱」の違い について解説します。 「統計的に有意」は等価ではない 医学研究には多くの種類がありますが,ほとんどの研究で最終的に〈統計的に有意[…]

動画の構成

実際の動画の目次はこんな感じです(▼)。

動画の構成
  • 00:50|多重検定の問題とは
  • 01:11|前回までの復習:推測統計とは
  • 01:49|仮説検定の 4 STEP
  • 02:18|「P値が十分に低い」とは
  • 03:00|αエラー
  • 03:24|多重検定の例
  • 05:00|多重検定の補正〜 ボンフェロー二法
  • 06:11|小括
  • 06:46|αエラーは 5 % 以内に収めるべきか
  • 07:08|仮説検証型
  • 07:59|仮説生成型
  • 08:50|仮説検証・仮説生成の例
  • 09:38|実際の論文の例
  • 11:43|今回の結論
  • 12:28|おまけ:仮説が互いに独立でないとき

ぜひ一度ご覧いただき,ご意見ご感想をいただけたら嬉しいです!

よろしくお願いいたします。

次回予告

これまでの動画で〈推測統計〉〈仮説検定〉の枠組みをお伝えできたので,次回こそ

標準偏差 SD〉と〈標準誤差 SE〉

になる予定です。

またチェックしていただけたら幸いです。

[おすすめ本紹介]

Users’ Guides to the Medical Literature


タイトル通り「医学論文を現場でどう応用するか?」迷える臨床家のためのユーザーズガイド。Tips 集のような構成で,どこからでもつまみ読みできます(通読向きではない)。医学論文の批判的吟味を学ぶにあたり 1 冊だけ選ぶならコレ,という極めて網羅性の高い一冊です。著者 Gordon Guyatt 氏は “EBM” という言葉を作った張本人。分厚い本ですが,気軽に持ち歩ける Kindle 版はオススメです。邦訳版もあります。

医学文献ユーザーズガイド 第3版


表紙が全然違いますが「Users’ Guides to the Medical Literature (JAMA)」の邦訳版。医学文献を批判的吟味するためのTips集としてかなりの網羅性を誇る代表的な一冊です。唯一の欠点は Kindle版がないこと(英語版はある)と,和訳が気になる部分が結構あること。2つでした。原著とセットで手に入れると最強の気分を味わえます。鈍器としても使えます

─ ads ─
>医療統計の解説チャンネル

医療統計の解説チャンネル

スキマ時間で「まるきりゼロから」医療統計の基本事項を解説していく Youtube チャンネルを 2 人で共同運営しています。

CTR IMG