【30分で】臨床試験 RCT 爆速チェックリスト【批判的吟味】

職場の論文抄読会で,臨床試験論文の「批判的吟味」をしたい!

でもどういう風に論文を読めば「ヤバいところ」を見抜けるかわからない!!

実はあと1時間後に抄読会始まるけどまだ本腰入れて読んでない・・

そんな時,臨床試験の質を『爆速で』チェックできる手頃なリストがあったら,便利ですよね?

というわけで,当方でご用意させていただきました。

題して

💥 Clinical Trial 爆速チェックリスト 💥

ゴチャゴチャ説明は申し上げません。
まず目を通していただき,そして,ぜひ御利用ください。

臨床試験論文!爆速チェックリスト!!

まずはその臨床試験の【PICO】(参加者-介入-コントロール群-評価アウトカム)が 何なのかまとめましょう。

その上で,下記のチェック事項を確認していきます。

これでアナタも爆速論文チェッカー!

まず財源確認

スポンサーチェック

  • 財源が NPO/政府系なのか製薬会社なのかは最初に確認
  • 製薬会社資本の試験は,結果が「良い方向に」歪められやすい。

┗━━▶︎ だいたい論文の最初か最後か横欄に答えがある

参加者の属性に関連するポイント

Patients/Participants に関連するチェック項目

  1. サンプルサイズ (n) は十分か
  2. 組入れ基準 inclusion criteriaは?(外的妥当性)
  3. 除外基準 exclusion criteriaは?(外的妥当性)
  4. 外的妥当性に関する問題はあるか
  5. 重要な因子での群間不均衡はないか
  6. 最終的に ITT解析か(ランダム化の維持)
  7. 追跡率は何%か(ランダム化の維持)
  8. 打ち切り理由は両群で差がないか(ランダムな打ち切りのみか)

┗━━▶︎ だいたい Figure1 と Table 1 に答えがある

※ 解説記事を準備中
─ ads ─

介入/コントロール に関連するポイント

Intervention/Control に関するチェック項目

  1. 介入群/対照群への割付け手法は隠蔽化 conceal されているか
  2. 介入群/対照群への割付け結果は何重に盲検化 masking されているか
  3. 対照群はプラセボか既存治療か
    • 既存治療の場合,適切な質で標準治療を行われているか
  4. 介入以外の治療は全て公平になっているか

┗━━▶︎ だいたい Methods に答えがある

結果の解釈に関するチェック事項

アウトカム解釈に関するチェック事項

  1. 主要エンドポイントは,代用エンドポイントか真のエンドポイントか?
  2. 主要エンドポイントは,ソフトかハードか?
  3. 主要エンドポイントは,単体か複合か?
  4. 複合エンドポイントの場合,そのパッケージは許容できるか?
  5. 試験途中でエンドポイントが変更されていないか?
  6. 二次評価項目で P < 0.05 を全て「有意」と主張していないか(多重検定)
  7. 粉飾的記載 spin をしていないか?
  8. Effect size (NNT/NNH)は十分か?
  9. 安全性の懸念は?

┗━━▶︎ Methods および Results の図表(Figure 2-3,Table 2-3)に答えがある

以下の記事で非常に詳細に解説しています
詳細はコチラ

この記事は医療者・研究者の方向けです臨床試験の論文を読む時,皆様は【エンドポイント】についてどの程度気にしておられるでしょうか?御手元に,製薬会社の薬剤パンフレットがある状況を想像してみてください。そこに記載してあるのは,立[…]

時間 や 解析 に関するチェック事項

  • 追跡期間の中央値はいくつか?
  • 試験は早期終了されていないか?

┗━━▶︎ だいたい Methods に答えがある

最後にお値段チェック

その介入は,現実に「おいくら」?

┗━━▶︎ 自分で薬価などをサーチする

一覧まとめ

爆速チェックリストQuestion
PICOまずPICOを定式化,その後,下記を順にチェック!
Sponsor財源は NPO/政府系か,製薬会社か
Time追跡期間の中央値はいくつか
Patient 1サンプルサイズ (n) は十分か
Patient 2組入れ基準 inclusion criteriaは?(外的妥当性)
Patient 3除外基準 exclusion criteriaは?(外的妥当性)
Patient 4外的妥当性に関する問題はあるか
Patient 5重要な因子での群間不均衡はないか
Patient 6最終的に ITT解析か(ランダム化の維持)
Patient 7追跡率は何%か(ランダム化の維持)
Patient 8打ち切り理由は両群で差がないか(ランダムな打ち切りのみか)
Intervention 1介入群/対照群への割付け手法は隠蔽化 conceal されているか
Intervention 2介入群/対照群への割付け結果は何重に盲検化 masking されているか
Control 1対照群はプラセボか既存治療か
➡ 既存治療の場合,適切な質で標準治療を行われているか(※不適切に治療されている場合,そのような「対照群」は現実に存在しないため,いったい何との「比較」をしているのかわからない)
Control 2介入以外の治療は全て公平になっているか
Outcome 1主要エンドポイントは,代用エンドポイントか,真のエンドポイントか
Outcome 2主要エンドポイントは,ソフトか?ハードか?
Outcome 3主要エンドポイントは単体か?複合か?
Outcome 4複合エンドポイントの場合,そのパッケージは許容できるか?
Outcome 5試験途中でエンドポイントが変更されていないか?
➡︎ NCTデータベース/プロトコル論文をチェック
Outcome 6二次評価項目で P < 0.05 を全て「有意」と主張していないか(多重検定)
Outcome 7粉飾的記載 spin をしていないか?
Outcome 8Effect size (NNT/NNH)は十分か?
Outcome 9安全性の懸念は?
Analysis 1試験は早期終了されていないか?
Economyお値段は?

回答例

以下では,実際にいろいろな RCT に対する批判的吟味の内容を記載しつつ,チェックリストの埋め方を例示させていただきます。

爆速チェックリストを使う際,御参考にしていただければ幸いです!

爆速チェックリストQuestionAnswer (例)
Sponsor財源は NPO/政府系か,製薬会社か製薬会社主導治験(phase III trial)
Time追跡期間の中央値は270日 (IQR:240-300)
Patient 1サンプルサイズ (n) は十分か400人。
power 分析をし,その結果と打ち切り見込み数を織り込んで recruit → 十分なサンプルサイズとなっている。OK。
Patient 2組入れ基準は?(外的妥当性)一言でいえば「高齢白人で●●な人」
Patient 3除外基準は?(外的妥当性)ハイリスク症例は除外されているが臨床的にも妥当な範囲。
75 歳以上の高齢者が入っていない(高齢者への一般化はできない)ことに注意。
Patient 4外的妥当性に関する問題はあるか参加者はほぼ白人 + 平均 BMI 32。
日本人への一般化可能性は低そう。
Patient 5重要な因子での群間不均衡はないか年齢については〈層別ランダム化〉で揃えられている。
他,Table1 の中身は概ね均等そう。

未知の予後関連因子があり,Table 1 に記載されていない可能性もあるが,ランダム化が適切であれば,そうした未知の因子も均等に割り振られていると考える。
Patient 6最終的に ITT解析か(ランダム化の維持)Primary endpoint については ITT解析をしている。
Patient 7追跡率は何%か(ランダム化の維持)「少なくとも80%の追跡率」は満たす。
ただし worst-scenario 解析や,競合リスクを加味した感度分析は行われていない。
Patient 8打ち切り理由は両群で差がないか(ランダムな打ち切りのみか)差はないが,ナゾの sponsor decision という除外が試験途中にある
[REWIND] pubmed
Intervention 1介入群/対照群への割付け手法は隠蔽化 conceal されているか中央割付方式なのでOK
Intervention 2介入群/対照群への割付け結果は何重に盲検化 masking されているか三重盲検(被験者+医師+評価者)
他) PROBE 法(評価者のみ masking, 被験者と医師にはオープン)
Control 1対照群はプラセボか既存治療か
➡ 既存治療の場合,適切な質で標準治療を行われているか
既存治療
➡︎ 例)warfarin が対照群だが,PT-INRはきちんとコントロールされていなかった
➡︎ 例2) 対照群で尿酸値が上昇したらアロプリノールを考慮しても良いことになっていたが,何故か 100 mg(通常 doseの半量)
[FREED] pubmed
Control 2介入以外の治療は全て公平になっているか例)なってない。実薬群に対してプラセボ対照群は明らかに HbA1c が高値のまま放置された状態で長期間追跡されている。その状況下で心血管イベントの発症率を比較されても,実薬群の有利は明白である。患者背景の均質性が途中から保たれていないのだから。

話題の EMPAREG-OUTCOME (pubmed) をはじめ,ここ最近のほとんどの糖尿病新薬の大規模 RCT(安全性試験) がこの問題を孕んでいます。この鋭い指摘はマッシー池田大先生が 2019 年に論文にされています。糖尿病診療を行う全ての内科医が読むべき論文。[Pubmed] [池田先生のblog]
Outcome 1主要エンドポイントは,代用エンドポイントか,真のエンドポイントか代用:HbA1c
※真のエンドポイントは心血管疾患の発症リスク減少
Outcome 2主要エンドポイントは,ソフトか?ハードか?ソフトとハードの複合.
例) 心不全による”入院”が含まれている [FREED] pubmed
Outcome 3主要エンドポイントは単体か?複合か?複合エンドポイント
Outcome 4複合エンドポイントの場合,そのパッケージは許容できるか?許容できない。
例) 死亡, 脳卒中, 心筋梗塞 など重症なものと 蛋白尿増加, Paf発症など正直どうでもいいものが全て同一パッケージ
[FREED] pubmed
Outcome 5試験途中でエンドポイントが変更されていないか?(NCT/プロトコル論文)例) 試験途中で複合エンドポイントの中身が追加されている。
[FREED] NCT
※ Current Primary Outcome Measures と Original – を比較すると,, ?
Outcome 6二次評価項目で P < 0.05 を全て「有意」と主張していないか(多重検定)例) Table2だけで 10回検定しているが,結局有意水準 0.05 を下回ったのは腎イベント1つだけ。そのため,結果的にこの問題は犯していない。 [FREED] pubmed
Outcome 7粉飾的記載 spin をしていないか?spin とは,Primary endpoint で有意差がつかなかったが,サブ解析結果や secondary endpoint,後付けエンドポイント exploratory endpoint での有意差を強調していること。

(※) ただの誇張表現であれば,厳密には spin ではない。たとえば,FREED 試験では Abstract の Conclusion で 本来の Primary endpoint ではなく Secondary endpoint 「腎イベントの減少」での有意差を強調している──結局 何もかもごっちゃに詰め込んだ複合エンドポイントである Primary endpoint には,実質的価値がないことを筆者も認識しているためと思われる──。これはspinの様でもあるが,本試験は Primary endpoint で有意差を出せている試験なので,厳密には spin ではない。単純な誇張であると言える。 なお,有意差の出た「腎イベント減少」の実態としては Cre悪化やESRDへの移行は全く差がなくアルブミン尿を減らしただけである(Table S6)。にも関わらず,”delays the progression of renal dysfunction” となかなかに攻めた記載がされている。[FREED] pubmed
Outcome 8Effect size (NNT/NNH)は十分か?ELDERCARE-AF試験では,エドキサバン 15 mg 内服による塞栓症予防の NNT は 23 程度と十分であった。ただし,何らか対応を要する出血イベントの NNH 16 程度,消化管出血の NNH も 67 程度あり。
[ELDERCARE-AF] pubmed【解説記事】
Outcome 9安全性の懸念は?上記のELDERCARE-AF試験では,エドキサバン 15 mg 内服による 出血イベント risk/梗塞予防 benefit の比較が必要となる。major bleeding は有意差なしということになっているが,実数としては明らかに多いため,サンプルサイズや追跡期間が伸びれば有意となっていた可能性が高い(βエラーの可能性)。試験の追跡率が 70% と低い点もこのあたりをバイアスしうる。
[ELDERCARE-AF] pubmed【解説記事】
Analysis 1試験は早期終了されていないか?当初のプロトコル通り完遂されている。
※早期中断は結果の過大評価に繋がるリスクが高い
Economyお値段は?エドキサバン 15 mg は,1日220円,1年間で 73000円
[ELDERCARE-AF] pubmed
【解説記事】

また好例があれば追記していきます。

爆速で読むポイントは?

なお,上記のチェックポイントを押さえながら爆速で読むポイントは「省くべきところを省く」ことです。と言うか,それしかありません。

① ファクトしか見ない

重要なのは Methods と Results である
時間がない時は「ファクト」でない「オピニオン」の部分は吟味しない。つまりDiscussion はサラリと流す。Limitation の項があればそこだけ確認。

② 後付けの解析は見ない

後付け解析の部分も読まなくてよい。

あくまでも Primary Endpoint が全て
  • Resultsで見るべきなのは,統計学的仮説検定のプロセスをしっかり踏めている〈主要エンドポイント〉Primary Endopint のみ。
  • Results の後半にありがちな〈サブグループ解析〉や〈探索的エンドポイント〉などは,ほとんどの場合 一切読む必要がない。
  • 〈二次エンドポイント〉secondary endpoint の結果も,示唆的なものに過ぎず,真に受けるべきではない。
  • むしろこれらの解析結果をことさら取り上げる様な論点すり替え spin をおこなっていないか には注意を要する。特に Discussion や Abstract で spin が起きやすい。Discussion は先述したとおり,筆者の言いたいこと(オピニオン)が書かれているだけであることをよく認識しながら割り引いて読む必要がある。

要するに

Methods と Results の図表に注力すれば良い

ということです。

最後に:そもそも批判的吟味とは

基本的に,論文の批判的吟味というのは「効果を過大評価していないか?」という観点で読む行為を指します。

スポンサーは薬剤や介入の効果を大きく見せたいですし,論文著者も自分の研究成果を大きく見せたいので,基本的に論文というのは効果を誇張した傾向になりがちです。

しかし,実際にその薬/介入を使うのか?という「選択」を迫られる人は,誇張された行為を鵜呑みするわけにはいきません。

私たちが興味があるのは

私がこの薬をつかえばどの程度の見込みでどの程度の効果が期待できるか?

という観点です。

EBMは「患者に始まり患者に終わる」もの。

著者やスポンサーにとって「都合の良い解釈」に騙されず,実際に生データをみて,適否を判断できることが重要です。

参考文献

このチェックリストは主に下記の書籍を元ネタにして作成しています。なぜか医療者の中で異様に知名度が低い感触を受けますが,EBM を学ぶ人からすればバイブルのような書籍です。全身全霊でお勧めします。

User’s Guides to the Medical Literature


EBMを学ぶにあたり 1 冊だけ選ぶとしたら間違いなくコレ,という一冊です。著者 Gordon Guyatt 先生は「EBM」という言葉を作った張本人。かなり網羅性が高く分厚い本ですが,気軽に持ち歩ける Kindle 版はオススメです。邦訳版もあります。

医学文献ユーザーズガイド 第3版


表紙が全然違いますが「User’s Guides to the Medical Literature (JAMA)」の邦訳版です。一生言い続けますが,EBMと言えばこの1冊です。唯一の欠点は,Kindle版がないこと(英語版はある)と,和訳が気になる部分が結構あること。2つでした。原著とセットで手に入れると最強の気分を味わえます。

JAMA User’s Guide おすすめの読み方

  • 読み方として,まずは 6-10 章(主に Part B の基礎編)の内容だけに絞って読む ことをお勧めします。
  • そこが臨床試験(治療の RCT)に対する批判的吟味のハウツーを扱う章です。臨床家にとって最もインパクトの大きいコアセクションと言えます。そこに絞れば,たった 50-70 pくらいのもの です。休日を使えば,1日で読めます。
  • そしてそこでより踏み込んだ話に興味が湧けば,上級編などにも目を通していくとハッピーになれます。
  • このページにたどり着いてしまうようなニッチな読者の方にとっては,もはやすでに児戯に等しい内容,あるいは読了済みかもしれませんが,そうでない方には是非お手に取っていただきたい名著です。
  • なお「医学論文の原著は英語である」ということを踏まえますと,当然本書も原著(英語版)がオススメです。しかし言語面でやはり敷居の高さがあることは否めません。 そこで手元にこの邦訳版も置きながら,原著を紐解くというのも良いかもしれません。
  • 私も最初はイキって英語版だけ買いましたが,結局最終的には邦訳版も購入しました😌 やはり手元にすぐ確認できる邦訳があると,心理的ハードルが下がって捗りますね!イキり,ダメ絶対。

[おすすめ本紹介]

User’s Guides to the Medical Literature


EBMを学ぶにあたり 1 冊だけ選ぶとしたら間違いなくコレ,という一冊です。著者 Gordon Guyatt 先生は「EBM」という言葉を作った張本人。かなり網羅性が高く分厚い本ですが,気軽に持ち歩ける Kindle 版はオススメです。邦訳版もあります。

医学文献ユーザーズガイド 第3版


表紙が全然違いますが「User’s Guides to the Medical Literature (JAMA)」の邦訳版です。一生言い続けますが,EBMと言えばこの1冊です。唯一の欠点は,Kindle版がないこと(英語版はある)と,和訳が気になる部分が結構あること。2つでした。原著とセットで手に入れると最強の気分を味わえます。

─ ads ─
>医療統計の解説チャンネル

医療統計の解説チャンネル

スキマ時間で「まるきりゼロから」医療統計の基本事項を解説していく Youtube チャンネルを 2 人で共同運営しています。

CTR IMG