【30分で】臨床試験 RCT 爆速チェックリスト【批判的吟味】

職場の論文抄読会で,臨床試験論文の〈批判的吟味 critical apprausal〉をしたい!

でもどういう部分に気をつけて読めばいいか分からない!

そんな時,臨床試験の質を『爆速で』チェックできる手頃なリストがあったら,便利ですよね? というわけで(ほぼ自分のためですが),当方でご用意させていただきました。

題して

💥 Clinical Trial 爆速チェックリスト 💥

ぜひ一度目を通していただき,抄読会などの際に御利用頂ければ幸いです。

せっかちな方は直接「まとめ表」へどうぞ!

PICOT & 効果量

まず最も重要なことは,論文の内容を

PICO-T & 効果量(effect size)の構造で押さえる

ということです。

PICO-T & effect size
  • P:Participant/Population(参加者)
  • I:Intervention(介入)
  • C:Control/Comparison(比較対照)
  • O:Outcome(評価項目・アウトカム)
  • T:Timeframe(時間軸)
  • Effect size(効果量)

その上で,論文中のファクトとオピニオンを分離し,ファクトの中に紛れ込んだバイアスを1つ1つ確認していきます(▼)。

批判的吟味の手法

ポイントは,徹頭徹尾「PICO-T & 効果量」の枠組みで考えるということです。

いわゆる「批判的吟味」も,この P-I-C-O-T-効果量 のそれぞれについて個別に行っていきます。

臨床試験論文 爆速チェックリスト

では早速,それぞれの項目のチェック事項を確認していきましょう。

まず財源確認を忘れずに

…とその前に,まずはスポンサーチェックから行っておきます。これだけでもその RCT の性格が見えてくるため,最初にチェックするのがおすすめです。

スポンサーチェック
  • 財源が NPO/政府系なのか製薬会社なのかは最初に確認
  • 製薬会社資本の試験は,結果が「良い方向に」歪められやすい。

┗━━▶︎ だいたい論文の最初か最後か横欄に答えがある

以降,実際に〈P〉〈I〉〈C〉〈O〉〈T〉〈効果量〉の順で確認していきます。

─ ads ─

参加者の属性(P)の確認ポイント

Patients/Participants に関連するチェック項目
  1. サンプルサイズ (n) は十分か
  2. 組入れ基準 inclusion criteriaは?(外的妥当性)
  3. 除外基準 exclusion criteriaは?(外的妥当性)
  4. 外的妥当性に関する問題はあるか
  5. 重要な因子での群間不均衡はないか
  6. 最終的に ITT解析か(ランダム化の維持)
  7. 追跡率は何%か(ランダム化の維持)
  8. 打ち切り理由は両群で差がないか(ランダムな打ち切りのみか)

┗━━▶︎ だいたい Figure1 と Table 1 に答えがある

※ 個別の解説記事を準備中ですが,まず最も重要なポイントは「標本」「母集団」という概念を理解することです。解説動画

介入/対照(I/C)の確認ポイント

Intervention/Control に関するチェック項目
  1. 介入群/対照群への割付け手法は隠蔽化 conceal されているか
  2. 介入群/対照群への割付け結果は何重に盲検化 masking されているか
  3. 対照群はプラセボか既存治療か
    • 既存治療の場合,適切な質で標準治療を行われているか
  4. 介入以外の治療は全て公平になっているか

┗━━▶︎ だいたい Methods に答えがある

結果(O)の確認ポイント

アウトカム解釈に関するチェック事項
  1. 主要エンドポイントは,代用エンドポイントか真のエンドポイントか?
  2. 主要エンドポイントは,ソフトかハードか?
  3. 主要エンドポイントは,単体か複合か?
  4. 複合エンドポイントの場合,そのパッケージは許容できるか?
  5. 試験途中でエンドポイントが変更されていないか?
  6. 二次評価項目で P < 0.05 を全て「有意」と主張していないか(多重検定)
  7. 粉飾的記載 spin をしていないか?

┗━━▶︎ Methods および Results の図表(Figure 2-3,Table 2-3)に答えがある

以下の記事で非常に詳細に解説しています
合わせて読みたい

この記事では,「医学系 RCT を正しく読む」ための必須知識となる,エンドポイントの種類についてまとめます。 エンドポイントの種類まとめ 真のエンドポイントと代用エンドポイント ハードエンドポイントとソフトエンドポイント 主要エンドポイ[…]

詳細はコチラ

この記事は医療関係者の方向けです 製薬会社さんが配る薬剤パンフレットを見ると,立派なジャーナルに載った 立派な RCT の結果が必ず載っています。そしていつも「いい感じにまとまった図表」がバンと貼ってあり,大変目を引きます。 どうやら統[…]

時間(T)や解析の確認ポイント

  • 追跡期間の中央値はいくつか?
  • 試験は早期終了されていないか?

┗━━▶︎ だいたい Methods に答えがある

短期成績のみでは長期的なアウトカムや安全性について述べることはできない。また,途中終了された試験はサンプルサイズが小さいうちに判定が下されることになるため,結果が極端化しやすい(=random high を切り取ってしまいやすい)

効果量(effect size)のポイント

  1. 絶対リスク減少 ARR や NNT は十分か?
  2. 期待される効果量は,安全性の懸念を上回るか?
  3. 期待される効果量は,コストを上回るか?

┗━━▶︎ 自分で NNT/NNH を計算,その上で薬価を調べる

一覧まとめ

爆速チェックリスト Question
PICO まずPICOを定式化,その後,下記を順にチェック!
Sponsor 財源は NPO/政府系か,製薬会社か
Time 追跡期間の中央値はいくつか
Patient 1 サンプルサイズ (n) は十分か
Patient 2 組入れ基準 inclusion criteriaは?(外的妥当性)
Patient 3 除外基準 exclusion criteriaは?(外的妥当性)
Patient 4 外的妥当性に関する問題はあるか
Patient 5 重要な因子での群間不均衡はないか
Patient 6 最終的に ITT解析か(ランダム化の維持)
Patient 7 追跡率は何%か(ランダム化の維持)
Patient 8 打ち切り理由は両群で差がないか(ランダムな打ち切りのみか)
Intervention 1 介入群/対照群への割付け手法は隠蔽化 conceal されているか
Intervention 2 介入群/対照群への割付け結果は何重に盲検化 masking されているか
Control 1 対照群はプラセボか既存治療か
➡ 既存治療の場合,適切な質で標準治療を行われているか(※不適切に治療されている場合,そのような「対照群」は現実に存在しないため,いったい何との「比較」をしているのかわからない)
Control 2 介入以外の治療は全て公平になっているか
Outcome 1 主要エンドポイントは,代用エンドポイントか,真のエンドポイントか
Outcome 2 主要エンドポイントは,ソフトか?ハードか?
Outcome 3 主要エンドポイントは単体か?複合か?
Outcome 4 複合エンドポイントの場合,そのパッケージは許容できるか?
Outcome 5 試験途中でエンドポイントが変更されていないか?
➡︎ NCTデータベース/プロトコル論文をチェック
Outcome 6 二次評価項目で P < 0.05 を全て「有意」と主張していないか(多重検定)
Outcome 7 粉飾的記載 spin をしていないか?
Outcome 8 Effect size (NNT/NNH)は十分か?
Outcome 9 安全性の懸念は?
Analysis 1 試験は早期終了されていないか?
Economy お値段は?

爆速で読むポイントは?

なお,上記のチェックポイントを押さえながら爆速で読むポイントは「省くべきところを省く」ことです。と言うか,それしかありません。特に

  1. ファクトしか見ない
  2. 後付け部分は読み飛ばす

この 2 点を意識するとよいかもしれません。

① ファクトしか見ない

重要なのは Methods と Results である
時間がない時は「ファクト」でない「オピニオン」の部分は吟味しない。Discussion はサラリと流す。Limitation の項があればそこだけ確認。

② 後付けの解析は見ない

後付け解析の部分も読み飛ばしてよい。

あくまでも Primary Endpoint が全て
  • Resultsで見るべきなのは,統計学的仮説検定のプロセスをしっかり踏めている〈主要エンドポイント〉Primary Endopint のみ。
  • Results の後半にありがちな〈サブグループ解析〉や〈探索的エンドポイント〉などは,ほとんどの場合 読み飛ばして差し支えない。
  • 〈二次エンドポイント〉secondary endpoint の結果も,示唆的なものに過ぎず,真に受けるべきではない。
  • これは「多重検定の問題」や「cherry picking の問題」があるため。
  • むしろこれらの解析結果をことさら取り上げる様な論点すり替え spin をおこなっていないか には注意を要する。特に Discussion や Abstract で spin が起きやすい。Discussion は先述したとおり,筆者の言いたいこと(オピニオン)が書かれているだけであることをよく認識しながら割り引いて読む必要がある。

要するに〈検証、、、的〉な部分しか見ない,ということです(▼)。

合わせて読みたい

この記事では,医薬品に関するリテラシーとして必須知識である 「仮説検証」と「仮説探索/提唱」の違い について解説します。 「統計的に有意」は等価ではない 医学研究には多くの種類がありますが,ほとんどの研究で最終的に〈統計的に有意[…]

総括しますと,やはり

Methods と Results の図表に注力すれば良い

ということです。

最後に:そもそも批判的吟味とは

基本的に,論文の批判的吟味というのは「効果を過大評価していないか?」という観点で読む行為を指します。

スポンサーは薬剤や介入の効果を大きく見せたいですし,論文著者も自分の研究成果を大きく見せたいので,基本的に論文というのは効果を誇張した傾向になりがちです。

しかし,実際にその薬/介入を使うのか?という「選択」を迫られる人は,誇張された行為を鵜呑みするわけにはいきません。

私たちが興味があるのは

私がこの薬をつかえばどの程度の見込みでどの程度の効果が期待できるか?

という観点です。

EBMは「患者に始まり患者に終わる」もの。著者やスポンサーにとって「都合の良い解釈」に騙されず,実際に生データをみて,適否を判断できることが重要です。

参考文献

このチェックリストは主に下記の書籍を元ネタにして作成しています。なぜか医療者の中で異様に知名度が低い感触を受けますが,EBM を学ぶ人からすればバイブルのような書籍です。全身全霊でお勧めします。

Users’ Guides to the Medical Literature


タイトル通り「医学論文を現場でどう応用するか?」迷える臨床家のためのユーザーズガイド。Tips 集のような構成で,どこからでもつまみ読みできます(通読向きではない)。医学論文の批判的吟味を学ぶにあたり 1 冊だけ選ぶならコレ,という極めて網羅性の高い一冊です。著者 Gordon Guyatt 氏は “EBM” という言葉を作った張本人。分厚い本ですが,気軽に持ち歩ける Kindle 版はオススメです。邦訳版もあります。

医学文献ユーザーズガイド 第3版


表紙が全然違いますが「Users’ Guides to the Medical Literature (JAMA)」の邦訳版。医学文献を批判的吟味するためのTips集としてかなりの網羅性を誇る代表的な一冊です。唯一の欠点は Kindle版がないこと(英語版はある)と,和訳が気になる部分が結構あること。2つでした。原著とセットで手に入れると最強の気分を味わえます。鈍器としても使えます

余談:JAMA User’s Guide おすすめの読み方

上記書籍の読み方として,まずは 6-10 章(主に Part B の基礎編)の内容だけに絞って読む ことをお勧めします。そこが臨床試験(治療の RCT)に対する批判的吟味のハウツーを扱う章です。臨床家にとって最もインパクトの大きいコアセクションだからです。そこに絞れば,たった 50-70 pくらいのもの です。1日で読めます。

その上で,より踏み込んだ話に興味が湧けば,上級編などにも目を通していくとハッピーになれます。

このページにたどり着いてしまうようなニッチな読者の方にとっては,もはやすでに児戯に等しい内容,あるいは読了済みかもしれませんが,そうでない方には是非お手に取っていただきたい名著です。

なお「医学論文の原著は英語である」ということを踏まえますと,当然本書も原著(英語版)がオススメです。しかし言語面でやはり敷居の高さがあることは否めません。 そこで手元にこの邦訳版も置きながら,原著を紐解くというのも良いかもしれません(鈍器のような分厚さですが)。

私も最初はイキって英語版だけ買いましたが,結局最終的には邦訳版も購入しました😌 やはり手元にすぐ確認できる邦訳があると,心理的ハードルは下がります。特に特殊用語は訳語を探すのに時間がかかる場合があるので,すぐに確認できたほうが捗ります。

次頁

※ 次頁はおまけで,爆速チェックリストの回答例です。

[おすすめ本紹介]

Users’ Guides to the Medical Literature


タイトル通り「医学論文を現場でどう応用するか?」迷える臨床家のためのユーザーズガイド。Tips 集のような構成で,どこからでもつまみ読みできます(通読向きではない)。医学論文の批判的吟味を学ぶにあたり 1 冊だけ選ぶならコレ,という極めて網羅性の高い一冊です。著者 Gordon Guyatt 氏は “EBM” という言葉を作った張本人。分厚い本ですが,気軽に持ち歩ける Kindle 版はオススメです。邦訳版もあります。

医学文献ユーザーズガイド 第3版


表紙が全然違いますが「Users’ Guides to the Medical Literature (JAMA)」の邦訳版。医学文献を批判的吟味するためのTips集としてかなりの網羅性を誇る代表的な一冊です。唯一の欠点は Kindle版がないこと(英語版はある)と,和訳が気になる部分が結構あること。2つでした。原著とセットで手に入れると最強の気分を味わえます。鈍器としても使えます

─ ads ─
>医療統計の解説チャンネル

医療統計の解説チャンネル

スキマ時間で「まるきりゼロから」医療統計の基本事項を解説していく Youtube チャンネルを 2 人で共同運営しています。

CTR IMG