【解説】エビデンスとは何か?|悪質な情報に騙されないために

クロ

今日はみんな大好き「エビデンス」とは何か解説するぞ!

クロ

巷にあふれる「自称エビデンス」はどうしたら駆逐できるか?
一緒に考えよう

ミケ

気合入ってるねぇ…
最初にまとめ:それらしい言説に騙されないために

  • エビデンス=信頼性の高い科学的根拠
  • 数字はそのものではなく全体数と割合を見る
  • 相関関係と因果関係は異なると知る
  • 定義している「効果」は本質的に意味があるものか考える
  • エビデンスにはレベルがあると知る
  • ファクトとオピニオンを分離する

エビデンスって何だ?

エビデンスは直訳すると「(科学的)根拠」という意味

です。

つまり「エビデンス」という言葉は,「証拠・根拠」を意味する英語 “Evidence” に由来した外来語です。

元々は医学領域で

信頼性の高い臨床研究による実証結果があること

を指すものとして使われ始めた言葉でした。

しかし実際には古今東西全ての人(母集団)を一度に対象とした臨床研究など存在しないため,本当にその「実証結果」が自分や身の回りの人に適応できるのかはわかりません。

そのエビデンスにどこまで一般化可能性があるのかは,実際わからないのです。

そこで医学界では,もう少し厳密に,

AとBの効果を比較した時,偶然とは言い切れない程度に,結果に偏りを認める

ことが統計的に示されるのであれば,それはエビデンスとして価値の高い情報として扱いましょう,としてきました。

この様にエビデンスとは,「統計学」と非常に密接に結びついた概念と言えます。

本項では実際に具体例を交えつつ
「 “エビデンスがある” ということの意味」
について考えてみたいと思います。

それ……ちゃんとエビデンスあんの??

エビデンスあんの?

皆さんは

この壺を買ったら運勢がめちゃくちゃ上がって,
ビジネスも成功して,1年で月収が倍増しました!!

という人に壺を勧められたら…買いますか?

あるいは

日々のプロテインをこれに替えただけで、
一気に筋肉がついて、ダイエットに成功しました!

という広告を見たら?

そのプロテインを買いますか?

あるいは

がんの進行期で手術も難しいと言われて、抗がん剤治療を進められたけど、諦められませんでした。そこで自分で調べて,こんなにすごい〈免疫療法〉があると知りました。藁にもすがる思いですぐにその治療を始めました。
そしたらなんと1ヶ月で…,腫瘍が小さくなったんです!!

なんていう広告を見たら?

大切な人にその治療を勧めますか?

そもそも皆さんは,これらの言説を信じることができるでしょうか?


クロ

私にはできないな?

ミケ

わかったわかった

どこからが「エビデンス」なのか

現代は,科学に開かれ,ほとんどの人が多くの研究論文に直接アクセスできる素晴らしい時代です。

そして私たちはそんな時代に生まれた,恵まれた現代人です。であるならば,

どうせお金をかけるなら,ちゃんと効果があると証明されていること,「エビデンスのあること」にお金をかけたいものですよね。

では一体,どこからが「エビデンスがある」「科学的に証明されている」と言えるのでしょうか?

逆に私たちはなぜ,

  • 壺を買ったら運勢アップ!
  • プロテイン変えたら体重減量!
  • 民間の免疫療法で癌が小さく!

といった言説にどことなく「胡散臭さ」を感じてしまうのでしょうか?

順に見て行きましょう。

─ ads ─

「この壺を買って,収入が増えた」?

壺

この壺を買ったら運勢がめちゃくちゃ上がって,
ビジネスも成功して,1年で月収が倍増しました!!

まずはこの言説について検討してみましょう。

言わずもがな、突っ込み所がたくさんあります。

そもそも若干スピリチュアルな香りのする言説なので,端からエビデンスなどという考え方と全く合わないわけではありますが,あえてこの言説の問題点を科学的に検証してみたいと思います。

客観的に物事を判断するためのポイントは,以下の3つです。

客観的に物事を判断するため重要なポイント

  1. 何人での再現性があるのか
  2. 相関関係と因果関係は異なる
  3. 定義している「効果」とは具体的に何か

① 何人で再現性があるのか

まずそもそも,この現象は「何人で再現性があったもの」なのか?というのが重要なポイントです。

この言葉だけでは,サンプルサイズが示されていないので,結局「何%くらいの確率で」効果があるかはわかりません。

たった1人に確認された現象では,統計的に「関連性がある」とは言えません。

複数回の再現性が必要です。

また,その再現性が「偶然では説明できない程度に偏りを持って」得られなければなりません。

そもそもサンプルサイズを開示しないというのは,かなり偏った情報開示です。

たとえば,その壺を買った人が100人いて,収入が上がった人が1人しかいないかもしれません。たまたま上手く行った 1 例が誇張されてしまっているかもしれません。

あるいは意図的に誇張していなくとも,

  • うまくいった人は周りの人に勧める
  • うまくいかなかった人は周りの人に勧めない

といった形で,うまくいった人の言説ばかりが一人歩きしてしまっている可能性もあります。

全てのケースについてしっかりと検証してみたら,ほとんど関連性がないかもしれません。

この様な言説を目にした時,数字を客観的に見るポイントは,

分母を見て,全体数を見て,割合を見ること

です。

②「因果関係」かどうか不明

では ① のサンプルサイズの問題が開示されて,その壺を買って収入が上がった人が,たとえば15人程度いたとしましょう。

この場合,「ツボを買う」「収入が上がる」の二つに ── 強弱はともかく ── 〈相関関係〉はあるのかもしれません。

しかし気を付けなくてはならないのは,〈因果関係〉があるかどうかは不明だということです。

壺を買った場合と買わなかった場合を比較していない(=対照群がない)うえ,後ろ向きに都合のよいケースだけを選択している可能性があるため,

  • 「壺を買ったから収入が上がった」のか
  • 「収入が高くなるだけの能力があった人が,たまたま壺を買った」のか
  • 「何か別の要因がある」のか(特定の価値を配信するセミナーでしか売られていない壺であり,セミナーの方の情報が実際に有用だった,など)

全く不明なのです。

〈相関関係〉と〈因果関係〉を混同しない

これは非常に重要な統計学の考え方の一つです。

数学の成績がいい学生が国語の成績も良いのは〈相関関係〉であって〈因果関係〉ではありません。「国語の成績を上げるためにまず数学を勉強しましょう!」という論理は成り立たないはずです。しかし,この様な例であれば誰だってわかることなのに,少し複雑な付加情報があると,多くの人はこの論理が分からなくなってしまう傾向にあります。
補足:青少年犯罪と暴力ゲーム嗜好の相関

一時期,マスメディアで暴力犯罪を起こした青少年の家で暴力的ゲームが多数見つかったことを殊更に強調する風潮がありました。

これも典型的な〈相関関係〉と〈因果関係〉の混同です。「その様なゲームをやるから犯罪を犯した」という因果関係ではなく「犯罪を犯す様な素因を持った人が,その様なゲームを特に好む傾向にあった」という逆因果の可能性もありますし,家庭環境など他因子の関連もあり得ます。

また「母数」や「割合」が適切に調査・開示されていない以上,実際に多くの男児がその様なゲームを楽しんでいる現状を考えれば,統計的にはほとんど有意な相関関係ではないかもしれません。

③「効果」の定義が曖昧

運勢が上がる,月収倍増,などは一般化できる効果ではありません。

仮に複数人で似たような現象があったとしても,その効果の定義が均質なものでないと,本当に効果があるのか統計的な検証ができません。

そのため「壺を買う」という投資額に見合った期待値があるのか不明です。宝くじの方が期待値が高いかもしれません。

「それらしい」言説に注意

勿論そもそも宗教的なものであれば信仰は自由ですが,何となくそれっぽいデータらしいものを持ってきて「再現性があります!」などとそれらしいことを言われた場合,その言説には注意深く対応する必要があります。

例えば

「私の身の回りの人はみんなこの壺を買って成功したのよ!」

という類の話ですね。


クロ

とりあえず,最低限 サンプルサイズ(n)を示せよと。
現場からは以上です。

ミケ

今日も圧あるね〜

「プロテインをかえたら,ダイエットに成功した」?

Protein

日々のプロテインをこれに替えただけで、一気に筋肉がついて、ダイエットに成功しました!

次に検討したいのは,このような広告文句です。

細かい部分は色々なバリエーションがあるとは思いますが,多くの類似した広告を見かけたことがあるのではないでしょうか。

この様な言説にも,やはり突っ込みどころが沢山あります。

ポイントは先ほどの「ツボを買ったら〜」の例と変わりません。子細が若干異なるだけで,ほとんどそのレベルの言説ということです。

問題なのは要するに

  1. サンプルサイズが不明
  2. 因果関係も不明
  3. 効果判定の定義も曖昧

というポイントです。

繰り返しになりますが,ここでも具体的に考えてみましょう。

① サンプルサイズが不明

仮に「ある特定の人物」では実際に因果関係があったように見えたとしても,

その現象が一般化できる,という根拠がなければ情報として価値がない

のです。

「何人で」「どの程度」再現性があった現象なのか?そもそもそうした検証がされているのか? 必ず確認が必要です。

②〈因果関係〉か不明

また,プロテインを変えたこととダイエットが成功したことに直接の〈因果関係〉があるかはわかりません。

わざわざネットで効果のあるプロテインを一生懸命リサーチして,プロテインをかえてみるだけのモチベーションがある人は,そうでない人と比べてめちゃくちゃ筋トレを頑張る傾向にあっただけかもしれません。

プロテインに大金を叩いたということで筋トレへのモチベーションが高まった可能性もあります。

こうした「別の因子による影響」のことを交絡(こうらく)と呼びます。

結局,同等の運動量で比較されていないので,純粋なプロテインの効果かどうかが不明なのです。

本来,想定される〈交絡因子〉については,初めから差が生じないように「揃えておく」必要があります。

「交絡因子によるバイアス」はきちんと除去できているか?

ひいては

本当に〈因果関係〉と言ってよいのか?

よく確認する必要があるでしょう。

それを容易に可能にするのが後述する〈ランダム化比較試験〉です

③ 効果の定義が曖昧

また,効果の定義が曖昧なのも問題です。

「ダイエットに成功!」
「筋肉増えた!」

それだけ聞けば何やら「効果」がある様に聞こえてしまいますが,実際にデータとしてどの程度の変化だったのでしょうか。

「体重 何 kg」あるいは「体脂肪率 何%」「BMIいくつ」の減量効果が,「どの程度の日数で」「何人に」得られたのか?それは普通に筋トレを毎日するだけと比べて明らかに「差」があるのか?

このあたりが気になるところです。

もしこの広告が「ダイエットに成功!」のことを「体重 1 kgの減少」と定義していた場合,その様なデータに価値がないことは明白です。人間,1時間くらいサウナでゆっくりしたら容易に水分が抜けて 1 kg くらいの減量は一時的に達成できますからね。

要するに重要なことは,

その「効果」は本質的に意味のある「効果」か?

ということです。

「効果」として何を定義しているのか,必ず確認する必要があります。

正しく科学的に示すプロセスは?

本来この「プロテインを変えてダイエットに成功」という現象について本気で科学的な検証をしようと思ったら,以下の様なプロセスを踏む必要があります。

“科学的” な検証手順

  1. もともと同程度の体脂肪率や体重,BMIの人を一定人数集める
  2. このプロテインを飲む人達と,何も飲まない人達にランダムに割り付け
  3. 両群とも同程度のトレーニングメニューを継続してもらう
  4. 数ヶ月継続した時点で,どの程度の減量効果があったのか調べる
  5. その効果の差が,【統計的に有意】であったかを検討する

このような方式による検証を,ランダム化比較試験 RCT と言い,科学的に信用性の高いプロセスです。

こうした検証がされていないのであれば,結局これも「壺を買ったら月収倍増!」と同じレベルの怪しさというわけです。


クロ

効果判定は,せめて定量して頂かないとな。
現場からは以上です。

クロ

……………。
ま、結果的にマッチョになれるなら何でも良いわけだがな!

シロ

なんかマッチョにだけ甘くない?

「民間の免疫療法でガンが小さくなった」??

magic tablets

中でも特に許せないのが,これです。

がんの進行期で手術も難しいと言われて、抗がん剤治療を進められたけど、諦められませんでした。そこで自分で調べて,こんなにすごい〈免疫療法〉があると知りました。藁にもすがる思いですぐにその治療を始めました。そしたらなんと1ヶ月で…,腫瘍が小さくなったんです!!

本物の患者さんかどうかもわからない人の写真を貼り付け,長々とそれらしいエピソードを飾り立て,良質なエビデンスが何ひとつとしてない治療法──実際そうではない──を宣伝している広告。

皆さんも一度はご覧になったことがあると思います。

最近では新聞やネット広告にも進出しており,少なからぬ憤りを覚えてしまいます。

Google でも「がん 治療」で検索すると,まずいきなり一番上に民間医療の広告が入る様なひどい状況で,軽い絶望感すら覚えてしまいます。

何にでも効く “魔法” の免疫療法

繰り返しになりますが,こうした広告の多くは,実際に効果があったサンプルの母数・割合を開示していません。

こうした言説を見かけたときにも,これまでと同様,必ず以下の問題をよく吟味する様にしましょう。

批判的に以下をチェック!

  • 何人の人で検証されたものなのか?
  • リスクと利益は比較されているのか
  • そのうち何人に「効果」があったのか?
  • その「効果」は現実的意味のある指標か?

何人で検証されているのか?

まず最も重要なのは,その現象の再現性です。

その「治療法」は,だいたい何%の人に効果をおこせるものなのでしょうか。

たとえば 100 人にやって数人にしか「効果」がないものかもしれません。残り90人には全く無効かもしれません。

リスクと利益は比較されているのか?

また,リスクと利益の天秤を比較することなく内服するのは危険です。

もしかしたら,かえって副作用で寿命を短くしてしまうリスクがあるかもしれません。

上手くいった人の言説だけが一人歩きし,悲惨な経過を辿ったケースは取り上げられていないだけの可能性もあります。

これらは「壺で運勢アップ!」や「プロテインをかえてダイエット!」と本質的には同じレベルの問題です。

しかし,がん診療というのは命に関わることです。そうなると誰しも「藁にもすがる思い」になってしまい,冷静な判断能力を失ってしまいがちです。100人のうち1人でも「効果がある」なら「試してみたい!」という心情になってしまうわけです。そして,そうした思いを踏みにじって商売をする悪意ある人達の餌食になってしまうのです。

その「効果」は意味のある指標か?

さらに重要なのは,

そもそもここで言う「効果」とは,どういう意味なのか?

という定義の問題です。

腫瘍を論ずる世界のみならず,医学全般に言えることですが,「効果がある」というのは基本的には「生存期間が伸びる」ことや,「明らかに有害なアウトカムを避ける(心筋梗塞発症の予防)」ということです。

100歩譲ってその民間医療で本当に腫瘍のサイズが小さくなる傾向にあるとしても,

癌の治療の目的は「短期的にサイズを小さくすること」ではありません。
「生存期間を延ばすこと」なのです。

一時的に癌のサイズが小さくなっても,副作用のため明らかに寿命が短くなってしまうのでは,リスクが利益を上回ります。

つまりそれは,治療薬ではなく毒薬です。

重要なことは,

治療対象は検査データではなく患者さんである

ということです。

最終的に生存期間が延びていなければ,お高い薬を投与する意義はありません。

なぜその民間療法は〈民間療法〉に過ぎないのか?

この様に,本質的でないエンドポイントでの有効性を売り込んだ治療法は,信用に値しません。

そもそも,そうした薬剤(や民間の●●療法)は

本質的なエンドポイントで【統計的に有意】な効果を示せていないからこそ,保険適応になっていない(=民間療法に過ぎない)

のです。

薬屋さんからしたら,「国の認可を受けて堂々と売った方が多くの人に売れる」わけですから,あえてそれをやっていない理由がありません。

「やれなかった」のです。「効果を示せなかった」のです。だからいつまでも民間療法,自費診療なのですね。

〈標準治療〉こそ〈現時点で最高の治療〉

逆に,国の承認を受けるような抗がん剤というのは必ず

●●がんに罹患している平均年齢■■才の人たちに,▲▲という抗がん剤を◯◯日投与するという治療を××クール行ったところ,行わなかった群の患者(従来型治療群)に比べて,全生存期間が◎◎ヶ月延長し,その差は統計的に有意であった

という『誰がどう見ても誤解のしようのないデータ』が示されています。

それこそが(良質な)エビデンスです。

その様な質の高いエビデンスは,過去の膨大な知の集積のもと,大規模な臨床試験をおこなってようやく得られるものです。

こと腫瘍医学に関して言えば,そうしたエビデンスをもとに考案された〈標準治療〉こそが知の集積であり,現時点で医師たちが提供できる〈最高の治療〉なのです。

逆に,そうした良質なエビデンスが示されていなければ,薬剤は保険診療での採用が認められません。

「本質的に意味のない薬」に多額の公費を注ぎ込むわけにはいかないので,それはごく当然のことです。

ほとんどの新薬はその段階までたどり着くことができず,途中で脱落します。そこまでたどり着けた「治療法」はエリート中のエリートなのです。だから公費を投入されて広く用いられるのです。

巧みに売り込まれる民間療法

結局,民間療法のほとんどにマトモなエビデンスはありません。

そんなことは少し冷静になって考えてみればわかるはずですが,ヘルスリテラシーがない状態で「癌」の宣告を受け,気が動転してしまうと,客観的にものごとを考えられなくなってしまうものです。

そこを利用して,特別うまくいったような 3人くらいの体験談をババンと大きく載せることで「あたかもめちゃくちゃ効くかのように見せる」──それが高額民間療法のやり口です。

残念ながら世の中には一定数,「癌の診断で心が沈み,正常な思考が鈍ってしまった人々」を利用し金儲けをしようというサイコパスな人間がいます。

そういう人たちはしばしば医学に詳しい風を装って,ろくな科学的検証も行われていないものを持ち出し「がんを治す!」「がんを予防する!!」などと喧伝し,自費診療で高額なお金を払わせるのです。

最近はその辺りの手も込んできて,一見それらしい「なんちゃってエビデンス」を持ち出してくることさえあり,批判的吟味の能力がないと容易に騙されてしまいます。タチの悪いものだと,実際に医師が実名を公表した上で主体的に行っているものもあります。彼らは闇の魔法使いデス・イーターなので,絶対に近づかない様にしましょう。

クロ

うーんこれは医師免許剥奪かな?待ってるぞ厚労省!

シロ

エクスペリアームス!

恐怖の実例

信じがたいことですが,実際にあった事例をご紹介します。

── 免疫チェックポイント阻害薬(=新規抗がん剤の一種)であるオプジーボ®を薄めて,通常抗がん剤として用いられる用量よりはるかに少ない量で,ガンでも何でもない高齢者に「がん予防になる」などと嘯いて自由診療(=自費診療)で投与を行う ──

そんなケースが実際に起き,大きな問題になりました。

ノーベル賞関連でオプジーボ®︎についてはメディアが多く報道しましたので,いたずらに知名度ばかり高くなってしまったきらいがあります。多くの人の耳に知れ渡っていた薬剤ですので,そういう汚いやり口でのお金稼ぎもできたわけです。

現在はこうした社会的問題を重く見た薬剤メーカーが特定の医療機関にしか薬品を納入しないようにしたことで一定程度解決されつつあるようです。

そういうクリニックには医師免許を持った人間が関わっている以上,おそらく「わかって」やっています。許せんですね。「アナタの大事な人が癌になったとき,胸を張ってその治療を受けさせられるんですか?」と小一時間問い詰めてやりたいですね。

ともかく,宗教でやる分には自由ですが「わかった」上でやっているというのは非常にタチが悪いです。

実際「薄めて」使おうが抗がん剤は抗がん剤。少なからぬ副作用が発現して困ることは少なくありません。

特にオプジーボ®︎ をはじめとする免疫療法は全てざっくり言えば「自己免疫を活性化させる」という機序のため,賦活化されすぎた免疫が暴走し自己免疫性疾患を起こしてしまうリスクが必ず一定程度あります。

甲状腺疾患や副腎疾患,1型糖尿病,重症筋無力症,心筋炎…
数多くの副作用が報告されており,自己免疫を高めることはメリットばかりではありません。

しかし万が一そうした副作用が発現しても,そうした悪徳クリニックはロクに説明責任も果たさず,近くの大病院に丸投げしておしまいです。

こういう悪意ある人達に踊らされないために,私たちは最低限の健康情報エビデンスに対するリテラシー ──〈ヘルスリテラシー〉──を身につける必要があるのです。

癌に限らず医学全般の情報に関しては,必ず信頼できる公的・非営利機関の情報を確認する様にしましょう。


国立がん研究センター がん情報サービス

ここまでの総括

  1. 壺を買ったら運勢アップ!
  2. プロテイン変えたら体重減量!
  3. 民間の免疫療法で癌が小さく!

程度の差こそあれ,上に示した3つの例は結局,すべて同様の結論に帰結します。

「それって,たまたま起きただけの現象かもしれないですよね??」
ということです。

いずれも「情報として偏った言説」ばかりであり,その客観性・一般化可能性について疑問が残ります。

こうした言説を見かけた時に私たちがチェックすべきポイントは,端的には以下にまとめられます。

それらしい言説に騙されないために

  • 数字はそのものではなく全体数と割合を見る
  • 相関関係と因果関係は異なる
  • 定義している「効果」は本質的に意味のないものかもしれない

「エビデンス」という言葉の罠

嵌められた猫

さいきんは「エビデンス」という言葉も市民権を得てきたため,「エビデンスがある」という言葉も逆に信用ならなくなってしまった感があります。

「エビデンス」という言葉が普及したばかりに,かえって詐欺まがいの商売に用いられることも増えた,という状況 です。

例えば「それっぽい図表」を載せて

こんなデータがあります!エビデンスです!

といって示せば,多くの人はあまりその内容を吟味せずに「ほぉん」と納得してしまいます。

何と言っても人間,その場で深く考えるのは面倒くさいものです。結局「一見それっぽい」データを出されたりすると,ぱっと見の印象だけで「何となく信用できそう」となってしまうのです。

悪意のある人が,まともなエビデンスのない商品を売りつけるために,統計的にはツッコミどころ満載の図表を持ち出して,「ちゃんとしてそう」という印象操作に利用することもできてしまいます。

そこにダメ押しで

●●大学の△△先生も勧めていました!

等と言われたりすると,そりゃあもうイチコロです。

「権威効果」と呼ばれる心理テクニックでもあります

リテラシーは自分で磨くしかない

結局私たちは,科学的・統計学的なリテラシーを身につけて,自ら身を守るしかないのです。

悪意に満ちた詐欺的なデータを出された時,

匿名希望

え…でもこのデータってサンプルサイズすごく少ないですよね?
ちゃんと統計学的な有意差は出てるんですか?
あっしかも介入群と対照群の割付けが無作為化されてませんね?
というか盲検化もされてませんよね?
データ解釈や集計の際にバイアスが入る余地がありましたよね?
しかも効果判定が「癌のサイズ」って(笑)
サイズ測って喜びたいんじゃないですから。
生存期間が延びたデータを出してくださいよ(笑)

と言って切り込めるだけの統計知識を,自ら身につけるほかありません。

質の低い情報から自分を守ることができるのは,自分だけなのです。

「エビデンス」には「レベル」がある

誰かに勧められたり,広告で大きく宣伝されているというだけで,健康法や薬・治療法を選択することは危険です。

医療のみならず,大きなお金をかけるような場面では,「本当にその効果が科学的に実証されているのか?」ということを調べた上で選ぶ必要があります。

そうした治療や健康法を持ち出す売り手は,大抵「一見それらしい」図表を持ち出してくる傾向にありますが,そうしたデータが科学的根拠として「どの程度のレベルのものなのか」を正しく理解していれば,踊らされずに済みます。

これには統計学やバイアスについての正しい知識とリテラシーが必要になります。

いきなりそうした能力を身につけるのは大変ですし,ここでその全てを論ずることはできませんが,まず最低限,「エビデンス」には「強い・弱い」がある,「レベル」があるということを押さえておけば,防衛力をアップさせることができるでしょう。

エビデンスレベル

エビデンスピラミッド

「専門家の意見」は「最弱」のエビデンス

この図からも分かるように,実は「専門家の意見 Expert Opinion」は,「ヒトを対象にした科学」において最低レベルのエビデンスとされています(▼)。

どこまで行っても「ただの意見」

エキスパートオピニオンとは要するに,「専門家の先生」が「多分こういう傾向ってあるよね~」と(経験則で)言うてるだけ。

もはやただの「意見」です。

謎の専門家風の人がコメントを寄せているような広告を,皆さんも見かけたことがあるのではないでしょうか?

あれです。

「専門家(エキスパート)」というと何やら凄そうですが,実際に人を対象とした実験や観察で統計的に有意な効果が示されたわけでないのならば,その人が何かそれらしいことを言ったところで「ただの個人的な意見」に過ぎません。

とても科学的な根拠とは言えませんので,エビデンスレベルとしては非常に低い格付けになります。

「専門家でもなんでもない人の意見(=just a opinion)」よりは,圧倒的な経験数などに裏付けされているという点で,専門家の意見(=expert opinion)の方が信頼性が高い,というだけのことです。

さらに厄介なことに「専門家」自体もピンキリですし,そのピンキリ具合をきちんと判断できるのは,その専門領域に実際に関わっている人だけです。マトモな仕事をしていない「自称専門家」も世の中にはごまんといます。

その企業にとって都合の良いことを言ってくれる「雇われ専門家」の可能性すらあります。

ポジション・トークというやつですね。

そんなわけで「専門家の意見」は最下位のエビデンスなのです。

合わせて読みたい

クロ今日はみんな大好き,エキスパートオピニオン(笑)の話をするぞ。ミケ出端から圧が強いって……有用なこともあるんだよ?最初にまとめ 〜本項の内容〜エキスパート・オピニオンの注意事項エキスパートオピニオンは[…]

エキスパートに裏切られた猫

エビデンスの王様はランダム化比較試験

逆に,エビデンスの王様は「ランダム化比較試験 RCT」です(▼)。

Ep rct

ランダム化比較試験とは,概ね下記の手順で行われる試験です。

ランダム化比較試験の流れ

  1. 「効果」があることを示したい介入【A】,比較対照の介入【B】を設定
  2. 具体的に示したい「効果」とは何なのか明文化
    ┗例:3ヶ月後の時点の全生存率
  3. 被験者(標本:サンプル)を十分な数集める
  4. 集めた被験者を,【A】か【B】かにランダムに割り付ける
  5. 一定の追跡期間の後,②の「効果」にどの程度「差」が生じたか確認
  6. その「差」が「統計学的に有意な差」であるか解析

理想はクローン人間

理想は全く同一なクローン人間をたくさん用意して,【A】か【B】か以外の「全て」を同一条件に揃えて比較できれば,科学的にはパーフェクトです。

明らかに【A】と【B】の違いだけが「結果」の「差」に直結しますから,交絡因子などの影響が入り込んでしまう余地がないわけです。

その場合,【A】と【B】に効果の差がある,と断言できます。

しかし実際の人間は極めて不均一な集団なので,それができません。

ランダム割り付けで均一にする

そこで,この「どうしたって不均一な集団」を「ランダムに割り付ける」ことで,なるべくスタート時点での偏りが少ない状態に「ならしておく」。

これにより,なるべく別の要因が影響を与えにくいようにすることができます。

「実はAグループにだけたくさん高齢者が含まれて,Bグループは若い人ばっかりだった」といった偏りを生じにくくするわけです。

逆にこのランダム化をしないと,こうした偏りを意図的に作ることもできてしまいます。

薬剤メーカーからしたら「効果が劇的」というデータを出したいので,あらかじめ「介入群の結果が有利になるように」仕込んでおくこともできてしまうのです。

ランダム化をしておけば,そういう人間の悪知恵が入り込む余地が少なくなります。

この様にバイアスを排除する力が高いため,RCT はエビデンスの王様とされています。

合わせて読みたい

この記事では RCT の定義・要件 について掘り下げて解説しています。皆様の学習の一助となれば幸いです。この記事では案内役としてネコが登場します。[sitecard subtitle=現代人がRCTを学ぶべき理由 url=stat[…]

RCT にも限界はある

ただし RCT にも欠点があります。

ランダム化比較試験 RCT はお金も人的資本も非常にかかりますので,いきなり大規模な人数を対象にすることはなかなかできません。

そのため,

少しだけA群の方が結果が良い傾向にあるが,統計学的に有意な差までにはならなかった

ということもしばしばあります。

この時【A】という介入には実際問題あまり意味がないのか,それともサンプルサイズが少なすぎて統計学的な有意差を示なかった(=βエラー)だけなのか,はっきりとはわからないのです。

また逆に,製薬会社などの資金提供を受けた RCT はその製薬会社にとって有利な結果になりやすい(=資金源バイアス)ということもあります。

細かい試験デザインの違いで結果がうまく出ないこともあります。

こうした限界があるため,実際には,1つの RCT の結果のみで「本当にそうか?」は非常に断定しづらいのです。

特にサンプルサイズが小さい時は,結果のブレも大きいため,結果がよくても悪くても割り引いて解釈する必要があります。

より強固なエビデンスを得るためには,各国・各専門機関で行われた類似する RCT をたくさん集めて,「複数のRCT」の結果を全て統合して統計学的に解析し,本当の効果を推し測る必要があります。

この「複数の RCT の結果を併せて解析した結果」こそ「最高レベルのエビデンス」とされています。

これらはシステマティックレビュー systematic review やメタアナリシス meta analysis と呼ばれます。もちろんこのレベルの研究になってもいまだにバイアスのリスクは抱えています。〈真実〉は誰にも分かりません。

天地の差があるエビデンスレベル

この様にひと口にエビデンスと言っても〈エキスパートオピニオン〉と〈複数のRCTを元にしたメタアナリシス〉では天と地ほどの差があります。

ヤムチャとフリーザくらい違います。

そもそも前者はただの意見,後者は大規模の人数で示された事実 ということでその差は歴然です。

こうしたエビデンスの「レベル」を知っていれば,「自称エビデンス」に踊らされることは少なくなるでしょう。


クロ

「これはエビデンスがあります!!」と言われ妙なデータを出された時には,「えっと…それは盲検化された RCT ですか?サンプルサイズいくつですか?」と聞いてみよう

ミケ

まあもう二度と絡まれないでしょうね…

「エビデンス」の解釈は自由

データの解釈は自由

さらに問題を厄介にしているのは,同じデータを使っても,
その解釈は自由に拡大することが可能だという問題です。

情報発信者の意図は?

同じデータ(=事実,ファクト fact)を基にしても,その解釈(=意見,オピニオン opinion)は無数であり,自由。

そして言論も自由ですから,一つのデータを拡大解釈して「こんなことが言えるかもしれません!」と大々的な宣伝も可能です。

そして大概,拡大解釈した方が「面白い」ので,インパクトのある言説にするためにあえて誇大した意見を述べるということが,非常に頻繁に行われています。

シンプルに「売るため」「見てもらうため」です。

彼らには「報道の自由」「あえて報道しない自由」があり,一次情報をどう〈解釈〉〈切り貼り〉してどう報道しようが完全に自由です。

あえてデータを誇張したり,大胆に解釈して視聴者を煽ることなど,お手の物です。

これはマスメディアに限らず,すべての情報発信者に言えることです

広告やマスメディアの行動原理はシンプルです。

  • 商品・記事・番組が売れること(視聴率を取れること)
  • スポンサーの意向に沿うこと

この2つを基本原理として動いています。

これが市場原理に基づいた報道の限界であり,視聴者はその点をよく理解して「色眼鏡をかけて」報道をみる必要があるのです。

その点を理解しないままに番組や記事を見てしまうと,多くの誤解が生まれてしまいます。

データの妥当性を論じないメディア

さらに気をつけなければならないのは,メディアではしばしばエビデンスやデータそれ自体の妥当性についてはあまり論じられない,ということです。

あるデータが提示されると,まるでそのデータやファクトが全ての【真実】であるかの様に前提にしてしまいます。

そのデータに「再現性があるのか?」とか,そのデータから「こういうことは言えるけど,そういう所までは言えないよね」といった検証は取り上げられないのです。

その上で,発信者の〈意見〉ばかりに焦点が当てられてしまいます。

番組によっては,コメンテーターや専門家(風の人)の意見に焦点が当てられます。

「そのエビデンス自体の妥当性」を論じる人がその場にはいないということは,決して少なくありません。

そもそもそのデータ,他のXXと比較して本当に意味のあるデータなんですか?

そんな風にデータの解釈の時点からまず検証する様なコメントを,ほとんどテレビ番組で見たことがありませんよね。

この様な場合,読者・視聴者こそがメディアの報道する〈データ〉や〈意見〉の妥当性を判断しなければならない と言えます。

ファクトとオピニオンを分離する

多くのメディアやその他の情報発信者は,手元にあるデータや事実〈ファクト〉と,そこから個人が考えた意見〈オピニオン〉を明確に分離していません。

ですから結局,情報の受け取り手である私たちが「ごちゃ混ぜになったファクトとオピニオンを分離して読み取る」 スキルを身につけ,自ら身を守るしかない状況です。

その様に一歩引いた目線から情報を眺めることは,〈メディア・リテラシー〉として極めて重要なものです。

ある意味これは,高度に情報化した社会に生きる私たちにとって,もっとも重要な能力かもしれません。

この情報社会で,私たちは何を信じるか?

何を選び取るか

長い闇の時代

1990年代ごろまで,情報を発信することのできる人は,非常に限られていました。

「生の情報」=「一次情報」にアクセスできるのは限られた人の特権で,その一次情報をどのように切り取って拡散しようが自由(=報道の自由)。

その妥当性を検証できる人は全然いなかったのです。
メディアの独壇場です。今思うと闇の時代ですね。

たとえば同じ報道会見でも,前後の切り取り方などを上手く工夫すれば全く別の印象を作り上げることもできる。

その会見の現場という「一次情報」にアクセスできたのは ごく少数の記者だけですから,あるメディアが悪質な切り抜き方をして報道しても,それを指摘できるのは実際に現場にいた他のメディア記者だけという状況です。

インターネットの隆盛と情報革命

そこにインターネットの隆盛が起き,一次情報もほとんどアクセス可能になりました。

悪意のある情報の「偏り」「切り抜き」を見つけたら,誰でもそれを容易に指摘できる時代です。

不利な報道をされないよう,会見を行ったその人自身が SNS で弁明を行ったりすることができるようにもなりました。

まさに情報革命です。
情報が市民の手に渡りました。

完全とまではいかずとも,あらゆる情報は世界に対して非常にオープンになったのです。

はっきり言って,めちゃくちゃ良い時代です。

専門家でなくとも,Google ScholarPubMed といったサービスを使えば,生の科学情報に誰でも簡単にアクセスできるという素晴らしき時代。

玉石混淆の情報から何を選び取るか?

しかし一方で,インターネットの情報は玉石混淆です。

混じりけ無しの生の〈一次情報〉もありますが,
意味不明なくらい飛躍した〈三次情報〉や〈四次情報〉も溢れています。

特に〈三次情報〉〈四次情報〉に関しては,一次情報の内容が切り抜かれて切り抜かれて,Fact と opinion がごちゃ混ぜになり,当初の情報と真逆になっていることすらあります。

残念ながら,そのほとんどはノイズ情報です。

今は多くの人が自由に発信できる時代だからこそ,そうした混沌の中から「本物のデータ・エビデンス(一次情報)」を自ら選び取り,自らの頭で解釈する,ということが必要になってきていると感じます。

自分で探し,自分で取捨選択し,自分で解釈する

まとめ

まとめ

それらしい言説に騙されないために

  • エビデンス=信頼性の高い臨床研究による実証があるか確認
  • 数字はそのものではなく全体数と割合を見る
  • 相関関係と因果関係は異なると知る
  • 定義している「効果」は本質的に意味があるものか考える
  • エビデンスにはレベルがあると知る
  • ファクトとオピニオンを分離する

「何を信じるか」は個人の自由であり,その宗教観に他人が口を差し挟む必要はありません。

しかし少しでも多くの方が「批判的に情報を見る」という視点を身につけられたら,バイアスまみれのデータや自称エビデンスに踊らされてしまう悲劇が減るはずです。

世界に蔓延る「エビデンスなき言説」に

えっ、でもそれって大したエビデンスないですよね??

とぶち込めるよう人がどんどん増えてほしいなと思います。

ぜひ一緒に,メディアリテラシーを磨いていきましょう。

[おすすめ本紹介]

ファクトフルネス FACTFULNESS


ビル・ゲイツが希望者全員に配布したことで有名な世界的超ベストセラー。スウェーデン医師・国際保健学教授である筆者が,誰もが勘違いしている「世界の事実」を1つ1つ挙げながら,本質を歪めて見てしまう人間の本能・バイアスを列挙していきます。脳髄に金槌で釘を打ち込まれるくらいの衝撃を何度も与えてくれる名著です。やや分厚い本ですが,Audible なら通勤時間で聞けてしまうので,大変オススメです。

─ ads ─
>医療統計の解説チャンネル

医療統計の解説チャンネル

スキマ時間で「まるきりゼロから」医療統計の基本事項を解説していく Youtube チャンネルを 2 人で共同運営しています。

CTR IMG