【解説】エビデンスとは何か|悪質な情報に騙されないため必要な3つのポイント

エビデンスとは何か?

「エビデンス」という言葉は,「証拠・根拠」を意味する英語 “Evidence” に由来した外来語です。そこから

エビデンス=「科学的,,,根拠」

として解釈されています。

エビデンスという言葉は,元は医学領域で

信頼性の高い臨床研究による実証結果があること

を指すものとして使われ始めた言葉でした。

ここで言う「信頼性が高い」「科学的」といった言葉の意味するところは,客観性が高い,あるいは幅広く再現性が見込まれるということです。

その研究で調査された人たちだけでなく,もっと一般化できそう

ということを「統計的、、、に示せる」のであれば,それは信頼性が高い結果として扱われます。つまり「エビデンス」は「統計学」と非常に密接に結びついた概念と言えます。

本項では実際に具体例を交えつつ「 “エビデンスがある” ということの意味」について考えてみたいと思います。

本項のポイント
  • エビデンス=信頼性の高い「科学的根拠」
  • 何人で再現性がある現象なのかが重要
  • 相関関係と因果関係は異なる
  • その「効果」は本質的に意味があるものか

それ…本当にエビデンス??

エビデンスあんの?

今回は具体例として,実際に以下の言説について考えてみたいと思います。

この壺を買ったら運勢がめちゃくちゃ上がって,1年で月収が倍増しました!!

日々のプロテインをこれに替えただけで,一気に筋肉がついて,ダイエットに成功しました!

がんの進行期で手術も難しいと言われて,抗がん剤治療を進められたけど,諦められませんでした。そこで自分で調べて,こんなにすごい〈免疫療法〉があると知りました。藁にもすがる思いですぐにその治療を始めました。そしたらなんと1ヶ月で…,腫瘍が小さくなったんです!!

私たちがこうした言説に「胡散臭さ」を感じてしまうのは,どこの部分に問題があるのでしょうか。

順に見て行きましょう。

壺を買って収入が増えた

壺

この壺を買ったら運勢がめちゃくちゃ上がって,
ビジネスも成功して,1年で月収が倍増しました!!

まずはこの言説について検討してみます。

そもそも若干スピリチュアルな香りのする言説であり,端からエビデンスなどという考え方と全く合わないわけではありますが,あえてこの言説の問題を「客観性」という観点で言語化してみます。

─ ads ─

確認すべき3つのポイント

客観的に物事を判断するためのポイントは,以下の3つです。

客観的に物事を判断するため重要なポイント
  1. 何人で再現性があるのか
  2. 相関関係と因果関係は異なる
  3. 「効果」は本質的か

① 何人で再現性があるのか

まず第一に,この現象は「何人で再現性があったもの」なのか?というのが重要です。

たった1人に確認された現象では,統計的に「関連性がある」とは言えません。必ず複数回の再現性が必要です。更に言えば,その再現性が偶然では説明できない程の頻度で得られなければなりません。

今回はサンプルサイズが示されていないので,結局 何%くらいの人に効果があったのかが全くわかりません。その壺を買った人が100人いて,たまたま収入が上がった人が1 例だけが誇張されているのかもしれません。

あるいは発信者が意図的に誇張していなくとも,

  • うまくいった人は周りの人に勧める
  • うまくいかなかった人は周りの人に勧めない

といった形で,うまくいった人の言説ばかりが一人歩きしてしまうというのはよくある現象です。

私のまわりの人はみんなこれを買って上手くいってるのよ!

という類の話はこの典型です。しかし,全例しっかりと検証してみたら,ほとんど関連性がないかもしれません。

この様な言説を目にした時,数字を客観的に見るポイントは,

「分母」(=全体数)と「割合」を見ること

です。

② 本当に〈因果関係〉か

次のポイントは,

〈相関関係〉と〈因果関係〉を混同しない

ということです。

① のサンプルサイズの問題が開示されて,その壺を買って収入が上がった人が,たとえば 100 人中 15 人程度いたとしましょう。

この場合,「ツボを買う」「収入が上がる」の二つに何らかの 〈相関関係〉はあるのかもしれません。しかしそれは〈因果関係〉があるかどうかとは別の問題です。

壺を買った場合と買わなかった場合を比較していない(=対照群がない)うえ,後ろ向きに都合のよいケースだけを選択している可能性があるため,以下の可能性が除外できません。

  • そもそもうまくいかなかったケースが追跡されていない
  • 何か別の要因がある
    • すでに一定の資格や収入がある人にしか売っていない,等

因果関係と相関関係を混同しないことは,非常に重要な統計学の考え方の一つです。

数学の成績がいい学生が国語の成績も良いのは〈相関関係〉であって〈因果関係〉ではありません。「国語の成績を上げるためにまず数学を勉強しましょう!」という論理は成り立たないはずです。しかし,この様な例であれば誰だってわかることなのに,少し複雑な付加情報があると,多くの人はこの論理が分からなくなってしまう傾向にあります。
|青少年犯罪と暴力ゲーム嗜好の相関
一時期,暴力犯罪を起こした青少年の家で暴力的ゲームが多数見つかったことを殊更に強調する報道が相次ぎました。これも典型的な〈相関関係〉と〈因果関係〉の混同です。「その様なゲームをやるから犯罪を犯した」という因果関係ではなく「犯罪を犯す様な素因を持った人が,その様なゲームを特に好む傾向にあった」という逆因果の可能性もありますし,家庭環境など他因子の関連もあり得ます。また「母数」や「割合」が適切に調査・開示されていない以上,実際に多くの男児がその様なゲームを楽しんでいる現状を考えれば,統計的にはほとんど有意な相関関係ではなかったかもしれません。

③ その「効果」は本質的か

3つ目の問題が,今回評価されている「効果アウトカム」が非常に曖昧でよくわからない,という点です。

運勢が上がる,月収倍増,などは一般化できる効果ではありません。

仮に複数人で似たような現象があったとしても,その効果の定義が均質なものでないと,本当に効果があるのか統計的な検証ができません。

そのため「壺を買う」という投資額に見合った期待値があるのか不明です。宝くじの方が期待値が高いかもしれません。

「それらしい」言説に注意

今回の言説は,あえて極端な例を取り上げているので

いやいやそんなこと当たり前でしょ^^;

と思われてしまうかもしれません。

しかし実際には,こうした言説とほとんど変わらなくとも,巧みな心理学的効果などと組み合わせてマーケティングされている商品は多数あります。

何となくそれっぽいデータらしいものを持ってきて「再現性があります!」「データがあります!」などと言われた場合,その言説には注意深く対応する必要があります。

もちろん個人の信仰・信条としてそうした買い物をしたい,ということであれば自由です。しかし「全く科学的でない」にもかかわらず一見科学的であるかのように装った言説に騙されてしまうのは悲劇である,ということです。

プロテインをかえてダイエット成功

Protein

日々のプロテインをこれに替えただけで,一気に筋肉がついて,ダイエットに成功しました!

次に検討したいのは,このような広告文句です。

実はこの言説,先程の「壺」の例と,構造的には全く同じものになっています。こうした広告はよく見かけるものですが,結局本質的には「壺買って成功」と同じだということです。

確認すべき3つのポイント

結局この言説で批判的にチェックすべきポイントも,先ほどの例と同じです。

  1. 何人で再現性があるのか
  2. 本当に〈因果関係〉か
  3. 評価している「効果」は本質的か

繰り返しになりますが,ここでも具体的に考えてみましょう。

① 何人で再現性があるのか

第一に,日々のプロテインを変えただけでダイエットに成功した人が何人いたのか。何人がトライして,何人が成功したのか。そこが気になる部分です。

仮に「ある特定の人物」では実際に因果関係があったように見えたとしても,

その現象が「一般化」できなければ意味がない

ということです。

私たちが知りたいのは,「ある特定の人物において結果がよかったかどうか」ではありません。「私たちが使っても効果があると期待、、してよいのか」,そしてそれはどの程度の期待値なのかが聞きたいのです。

② 本当に〈因果関係〉か

また,プロテインを変えたこととダイエットの成功に直接の〈因果関係〉があるかはわかりません。

わざわざネットで効果のあるプロテインを一生懸命リサーチして,プロテインをかえてみるだけのモチベーションがある人は,そうでない人と比べてめちゃくちゃ筋トレを頑張る傾向にあっただけかもしれません。プロテインに大金を叩いたということで筋トレへのモチベーションが高まった可能性もあります。

こうした「別の因子による影響」のことを〈交絡こうらく〉と呼びます。

今回で言えば,プロテインを変えた人と変えなかった人が「同等の運動量」で比較されでもしない限り,純粋なプロテインの効果かどうかわかりません。これが〈交絡〉です。

本来,想定される〈交絡因子〉については,初めから差が生じないように「揃えておく」必要があります。

揃えられていない〈交絡因子〉が隠れていないか?

常に疑うことが重要です。

交絡因子を容易に均等配分できるのが,後述する〈ランダム化比較試験〉の強みです。

③ その「効果」は本質的か

また,効果(アウトカム)の定義が曖昧なのも問題です。

「ダイエットに成功!」
「筋肉増えた!」

それだけ聞けば何やら「効果」がある様に聞こえてしまいますが,実際にデータとしてどの程度の変化だったのでしょうか。

  • 「体重 何 kg」あるいは「体脂肪率 何%」の減量効果か?
  • どの程度の日数で得られたのか?
  • どの程度の日数持続したのか?
  • それは普通に筋トレを毎日するだけと比べて明らかに「差」があるのか?

このあたりが気になるところです。

もし仮に「ダイエット成功!」のことを「体重 1 kgの減少」と定義していたとしても,それはそれで問題です。人間,水分を抜けば 1 kg くらいの減量は容易に達成できるからです。

要するに重要なことは,

本質的に意味のある「効果」をみているか?

ということです。

その言説が「効果アウトカム」として何を定義しているのか,必ず確認する必要があります。

科学的に示すプロセスは?

本来この「プロテインを変えてダイエットに成功」という現象について本気で科学的な検証をしようと思ったら,以下の様なプロセスを踏む必要があります。

“科学的” な検証手順
  1. 参加者を必要十分集める
  2. このプロテインを飲む人達と,何も飲まない人達にランダムに割り付け
  3. 両群とも同程度のトレーニングメニューを継続してもらう
  4. 数ヶ月継続した時点で,どの程度の減量効果があったのか調べる
  5. その効果の差が,【統計的に有意】であったかを検討する

このような方式による検証を,ランダム化比較試験 RCT と言い,科学的に信用性の高いプロセスです。

こうした検証がされていないのであれば,結局「壺を買ったら月収倍増!」と大して変わらないレベルの客観性かもしれません。

合わせて読みたい

この記事には案内役としてネコが登場します。 この記事では 「RCTとは何か?」その定義や基本的理念・原則 についてまとめます(▼)。 RCTが満たすべき基本原則 ランダム化されている 比較対照(control群)がある 明確な評[…]


効果判定は,せめて定量してもらわないとな
……………。
ま,結果的にマッチョになれるなら何でも良いけどな!
なんかマッチョにだけ甘くない?

民間医療でガンが縮小

magic tablets

さて,3つ目です。ここからが,いよいよ本題です。

がんの進行期で手術も難しいと言われて,抗がん剤治療を進められたけど,諦められませんでした。そこで自分で調べて,こんなにすごい〈免疫療法〉があると知りました。藁にもすがる思いですぐにその治療を始めました。そしたらなんと1ヶ月で…,腫瘍が小さくなったんです!!

本物の患者さんかどうかもわからない人の写真を貼り付け,長々とそれらしいエピソードを飾り立て,根拠に乏しい高額民間療法を宣伝している広告。一度はご覧になったことがあると思います。

最近ではネット広告にも幅広く進出しており, Google でも「がん 治療」で検索すると,一番上に民間医療の広告が入る様なひどい状況のときもありました。

現在,上記のような危険仕様は改善しているようですが,一体何人が google からそういう高額民間療法に流入したかを考えると,今でも悲しくなります。

確認すべき3つのポイント

結局こうした広告も,これまでの言説と本質的な部分は変わりません。これまでと同様,以下を確認すれば,すぐに問題が見えてきます。

批判的に以下をチェック!
  1. 何人で検証されたものなのか
  2. 本当に因果関係か
  3. その「効果」は本質的か

① 何人で再現性があるのか

まず最も重要なのは,その現象の再現性です。

その「治療法」は,何%の人で「効果」を示したものなのでしょうか。

上手くいった人の言説だけが一人歩きし,悲惨な経過を辿ったケースが取り上げられていないだけではないでしょうか。

その治療を受けた全体数や,成功した割合をよく確認しなければ,本当に意味がある治療なのかわかりません。

② 本当に〈因果関係〉か

また,もし一定人数で「効果」が確認されているとしても,それだけで良いわけではありません。

「何とどう比較して確認された『効果』なのか」が重要です。

比較対照として「その治療を受けなかった人」を据えて,交絡因子をすべて揃えた上で比較していなければ,本当にその治療法の効果かどうかは分かりません。

年齢や重症度,罹患年数,がんの種類,併存疾患,BMI などなど… あらゆる因子がそろったグループ同士の比較でなければ,ただ「交絡因子の差」が「アウトカムの差」として表出しただけかもしれません。

③ その「効果」は本質的か?

そして最も重要なのは,そもそもここで言う「効果アウトカム」とは,どういう意味なのか?という定義の問題です。

腫瘍を論ずる世界のみならず,医学全般に言えることですが,「効果がある」というのは基本的には「生存期間が伸びる」ことや,「明らかに有害なアウトカムを避ける(心筋梗塞発症の予防)」ということです。

これらを真のエンドポイントと呼びます。

もし仮にその民間医療で本当に腫瘍のサイズが小さくなる傾向にあるとしても,癌の治療の目的は「短期的にサイズを小さくすること」ではありません。「(生活の質を維持したまま)生存期間を延ばすこと」です。

一時的に癌のサイズが小さくなっても,副作用のため明らかに寿命が短くなってしまったり,嘔吐がひどくて何も食べられなくなってしまうのでは,リスクが利益を上回ります。

結局それでは,治療薬ではなく毒薬です。

治療対象は検査データではなく患者さん

です。最終的に「良質な生存期間」が延びていなければ,お高い薬を投与する意義はありません。

これを代用エンドポイントの問題と呼びます。【解説動画】

なぜそれは民間療法か

この様に,本質的でないエンドポイントでの有効性を売り込んだ治療法は,信用に値しません。

そもそも,そうした民間療法は「本質的な評価項目」で有意な効果を示せていないからこそ,保険適応になっていない(=民間療法に過ぎない)のです。

薬屋さんからしたら,「国の認可を受けて堂々と売った方が多くの人に売れる」わけですから,あえてそれをやっていない理由がありません。

十分な効果を示せなかったからこそ,いつまでも民間療法,自費診療だということです。

〈標準治療〉のエビデンス

国の承認を受けるような抗がん剤というのは必ず

●●がんに罹患している平均年齢■■才の人たちに,▲▲という抗がん剤を◯◯日投与するという治療を××クール行ったところ,行わなかった群の患者(従来型治療群)に比べて,全生存期間が◎◎ヶ月延長し,その差は統計的に有意であった

という『誰がどう見ても誤解のしようのないデータ』が示されています。

それがエビデンスです。

その様な質の高いエビデンスは,過去の膨大な知の集積のもと,大規模な臨床試験をおこなってようやく得られるものです。

こと腫瘍医学に関して言えば,そうしたエビデンスをもとに考案された〈標準治療〉こそが知の集積であり,現時点で医師たちが提供できる〈最高の治療〉です。

逆に,そうした良質なエビデンスが示されていなければ,薬剤は保険診療での使用が認められません。「本質的に意味のない薬」に多額の公費を注ぎ込むわけにはいかないので,当然のことです。

ほとんどの新薬は臨床試験の段階にすらたどり着くことができず,途中で脱落します。そこまでたどり着けた「治療法」はエリート中のエリートです。だからこそ,公費を投入されて広く〈標準治療〉として用いられるわけです。

メカニズムはエビデンスではない

民間療法が「効く」理由として,分子やタンパク質や細胞,RNA といった小難しい話をゴチャゴチャ捲し立てられているのを見かけたことがあるかもしれません。

実際ああいうそれらしいメカニズム、、、、、、、、、、を見て「信頼できる」と思ってしまった方もいらっしゃるかもしれません。

しかしそれは「エビデンス」ではありません

そうした言説は,あくまで試験管で細胞をいじって立てられた「仮説」に過ぎません。その薬を内服したとき,私たちの体の中でリアルに起きている真実なのかは知る由もありませんし,その必要もありません。

生理/化学的な「メカニズム」はエビデンスではない

のです。

分子生物学的な機序をゴチャゴチャ並べ立てたところで,本質的なアウトカムが改善しないのであれば「有効な薬」とは言えません。机上の空論を並べて喜んでいるだけに過ぎません。

そんなことよりも,実際にヒトで効果があるのか?ないのか? それは十分〈検証〉されているのか? が重要です。

そして,それがエビデンスです。

巧みに売り込まれる民間療法

結局,民間療法のほとんどにマトモなエビデンスはありません。

これは少し冷静になって考えてみればわかることですが,「がん」の宣告を受け,気が動転してしまうと,客観的にものごとを考えられなくなってしまうものです。

そうした人々をカモにし,特別うまくいったような 3人くらいの体験談をババンと大きく載せた広告で「有効性」を煽り立てる──それが高額民間療法のやり口です。

悪質な金儲け

残念ながら世の中には一定数,「心が沈んだ人々」や「ヘルスリテラシーのない人々」を利用し金儲けをしようという人たちがいます。

そういう人たちはしばしば医学に詳しい風を装って,ろくな科学的検証も行われていないものを持ち出し「がんを治す!」「がんを予防する!!」などと喧伝し,自費診療で高額なお金を払わせます。

最近はますます手も込んできて,一見それらしい「なんちゃってエビデンス」や「それっぽい生理学的メカニズム」を大々的に宣伝してくることがあります。

タチの悪いものだと,実際に医師が実名を公表した上で主体的に行っているものもあります。

彼らは闇の魔法使いデス・イーターなので,絶対に近づかない様にしましょう。いつの日か厚労省がエクスペリアームスしてくれる日を心待ちにしています。
|恐怖の実例
免疫チェックポイント阻害薬(=新規抗がん剤の一種)であるオプジーボ®うすく希釈して,腫瘍も何もない高齢者に「がん予防になる」などと嘯いて投与する──そんな「自費診療」が問題になったこともあります。ノーベル賞関連でオプジーボ®︎についてはメディアが多く報道しましたので,いたずらに知名度が高くなり悪用されてしまったのです。「薄めて」使おうが抗がん剤は抗がん剤ですし,自己免疫を賦活するものですから,自己免疫疾患などの副作用が発現する可能性は否定できません。害ばかりうけてしまった患者さんもいたのではと推察します。現在はこうした社会的問題を重く見た薬剤メーカーが特定の医療機関にしか薬品を納入しないようにしたことで一定程度解決されつつあるようですが,類似事例は後を断ちません。

身を守るためにエビデンスを学ぼう

こういう悪意ある人達から身を守るためにも,現代を生きる私たちには最低限のヘルスリテラシーが必要となってきています。

これは癌に限ったことではありません。

健康サプリメントにしても何にしても,「どのレベルで科学的根拠があるのか考えられる」ことは,もはや必須教養の域と言えます。

なかなか教材が少ないのが学習の難点ですが,当サイトでは原著論文などの〈1次情報〉を直接吟味するための知識も順次解説していく予定です。

ぜひ,一緒に統計リテラシーを高めていきましょう。今後ともよろしくお願いいたします。

なお,医学全般の情報に関しては,必ず信頼できる公的・非営利機関による2次情報を確認するようにしてください。
国立がん研究センター がん情報サービス

まとめ

それらしい言説に騙されないために
  1. 何人で再現性があるのか確認する
  2. 本当に〈因果関係〉か考える
  3. 評価している「効果」は本質的なものか考える
余談

現代は科学に開かれ,ほとんどの人が多くの研究論文に直接アクセスできる素晴らしい時代です。そして私たちはそんな時代に生まれた,恵まれた現代人です。

だからこそ,不適切な情報に踊らされない目を養い,自らのリテラシーを元に意思決定ができるようになりたいものです。

当サイトではそんなお手伝いができるように「わかりやすい医療統計の解説」を心がけていきたいと考えています。

よろしくお願いいたします!

[おすすめ本紹介]

Users’ Guides to the Medical Literature


タイトル通り「医学論文を現場でどう応用するか?」迷える臨床家のためのユーザーズガイド。Tips 集のような構成で,どこからでもつまみ読みできます(通読向きではない)。医学論文の批判的吟味を学ぶにあたり 1 冊だけ選ぶならコレ,という極めて網羅性の高い一冊です。著者 Gordon Guyatt 氏は “EBM” という言葉を作った張本人。分厚い本ですが,気軽に持ち歩ける Kindle 版はオススメです。邦訳版もあります。

医学文献ユーザーズガイド 第3版


表紙が全然違いますが「Users’ Guides to the Medical Literature (JAMA)」の邦訳版。医学文献を批判的吟味するためのTips集としてかなりの網羅性を誇る代表的な一冊です。唯一の欠点は Kindle版がないこと(英語版はある)と,和訳が気になる部分が結構あること。2つでした。原著とセットで手に入れると最強の気分を味わえます。鈍器としても使えます

─ ads ─
>医療統計の解説チャンネル

医療統計の解説チャンネル

スキマ時間で「まるきりゼロから」医療統計の基本事項を解説していく Youtube チャンネルを 2 人で共同運営しています。

CTR IMG