一部のがん研究は再現性がない。それでも問題ないかもしれない

ミゲル・アンヘル・デル・ポソ氏がこのメールを受け取った時、彼はあまり良い気分ではなかった。マドリードのカルロス3世国立心臓血管研究センターの研究室長として、デル・ポソ氏は2011年にCell誌に掲載された、caveolin-1と呼ばれる分子ががん細胞周辺の微小環境をどのように変化させるかについての論文の筆頭著者だった。ところが、実際の研究から4年も経って、再現性プロジェクトから連絡が来たのだ。

デル・ポゾ氏の論文は、研究チームが再現実験（再現実験を行い、同じ結論に達するかどうかを調べること）を試みた50件以上、合計で約200件の実験のうちの1つだった。2013年、オープンサイエンスセンターのブライアン・ノセック氏とティム・エリントン氏は、前臨床がん生物学の分野でこの実験を試みる意向を発表した。「非常に影響力のある学術誌に自分の研究結果を再現するというメールを受け取ったとき、そこには二つの側面があります」とデル・ポゾ氏は言う。もし自分が間違っていたらどうしよう、と。しかし、彼はある程度の責任を感じていた。そこでデル・ポゾ氏は、この試みに応じることに同意した。

これは非常に重要でした。実験をやり直していた雇われ科学者たちは、助けを必要としていたからです。どんな実験でも、プロトコルの説明や特定の試薬、抗体、細胞株へのアクセスが必要になるかもしれません。時には、遺伝子組み換えマウスの特定の系統が必要になることもありました。依頼は膨大になることもありました。デル・ポゾ氏は1日に2,000通ものメールを受け取るような人物です。彼はシングルファーザーで、大きな研究室を運営しています。そして、実際に研究を主導していた二人のポスドク学生は、とっくの昔にそれぞれの研究室を運営するために去っていました。「彼らが要求したすべての情報を提供するのは大変な努力でした。使用した抗体のバッチ番号に至るまで、膨大な量の情報でした。しかし、私はこの件を真剣に受け止め、『助けなければならない』と思いました」とデル・ポゾ氏は言います。「それに、私たちの評判が試されているようなものです。誰もこんなことが起きてほしくはありませんが、もしそうなってしまったら、隠すのは良くないと思っています。」

再現性プロジェクト：がん生物学は、最終的に200名が参加し、50本以上の論文を発表する大規模な取り組みでした。そして本日、eLife誌に掲載された2本の「キャップストーン」論文において、エリントン氏とその同僚たちは最終結果を報告しています。しかし、オープンサイエンスセンターのチームが期待した通りには進みませんでした。

論文の1つは彼らの研究結果のメタ分析であり、もう1つは（ネタバレになりますが）、チームがこの研究を実現するために直面​​した課題についてです。デル・ポゾ氏はやや例外的で、チームが連絡を取った研究者の半数以上がデータの共有を拒否するか、全く反応しませんでした。ほぼ同数の研究者が試薬の共有を拒否しました。中には、研究方法のセクションを有用なものにするほど明確に説明しなかった（あるいは説明できなかった）人もいました。最終的に、チームは23本の論文から50の実験しか再現できませんでした。

これらの実験はあまりうまくいきませんでした。COSチームは、成功か失敗かを判定するために5つの異なる方法を用いました。例えば、再現実験で観察された効果量がオリジナル実験よりも大きいかどうか、オリジナルの効果量が再現実験の効果量の信頼区間内に収まっているかどうか、あるいはその逆の条件です。5つの基準のうち、グループが調べた効果の半数以上が3つ以上の目標を満たしていませんでした。5つのうち1つは全ての目標を満たしていませんでした。

実験で示された肯定的な結果（腫瘍の縮小、生存率の向上など）は、その効果は薄れてしまった。やり直しで最初の実験と同じ肯定的な効果が得られたとしても、やり直しの効果量は中央値で85%小さくなった。マウスなどの動物を用いた研究は、細胞を用いた研究に比べて再現頻度が低く、効果量も小さかった（デル・ポゾの実験のうちいくつかは再現したが、1つは再現しなかった）。「今回の発見は、前臨床がん生物学の信頼性に疑問を投げかけるものだ」と、オープンサイエンスセンターの事務局長であるノセック氏は先週の記者会見で述べた。

このリフは聞いたことがあるだろう。2005年、スタンフォード大学の医師ジョン・イオアニディスが「なぜ出版された研究結果のほとんどは虚偽なのか」という、今では有名になったエッセイを発表した。このエッセイでは、研究者が肯定的な結果だけを発表し、時には統計を操作してしまう動機を明らかにしている。研究倫理の範囲内でさえ、論文を「ノー」ではなく「イェー」に偏らせるほどだ。（イオアニディスはその後、新型コロナウイルス感染症対策に関してある種の異端者となった。）これがその後10年間で「再現性の危機」へとつながり、エリントンやノセックといった研究者は心理学や経済学などの分野で再現性の失敗を発見し、天体物理学から動物学に至るまで、あらゆる専門分野で問題が蔓延していることを示唆した。

前臨床がん生物学は特に懸念されていた。これは、分子が薬剤候補になる前、臨床試験の前、規制当局の承認を得て医師が処方箋を書く前に行われる科学である。2011年、バイエルの研究者らは、社内で前臨床がん研究を再現しようとした試みのうち、成功したのはわずか20～25%だったと報告した。翌年、製薬大手アムジェンの研究者らはネイチャー誌に、彼らが目にした基礎研究（ベンチレベル）のうち、実際に再現可能だったのはわずか10%程度だったと記した。「その研究に対する批判はもっともなもので、再現できなかった論文を公表しなかったというものでした。研究者らと秘密保持契約を結んでいたため、公表できなかったのです」と、当時アムジェンの腫瘍学・血液学部門の責任者で、2012年のネイチャー誌論文の共著者だったグレン・ベグリー氏は述べている。COS誌の2本の新しい論文は「大きな前進です。なぜなら、彼らは前向きに研究を進めたのに対し、私が行ったのは10年間にわたる歴史的レビューだったからです」とベグリー氏は述べている。 「彼らが行ったのは、科学界で既に注目を集めている論文を取り上げ、その研究が独立して再現可能かどうかを検証するというものでした。これらの論文は本当に素晴らしいものです。まさに一流です。」

この研究には何年もかかり、論文はすべて2010年から2013年にかけて発表された。そして、その成果、あるいは成果の欠如は、ある意味二重の失望をもたらした。「私を含め、研究者が前臨床研究の分野に足を踏み入れる最大の理由は、影響を与えたいと願うからです。本当に運が良ければ、ひょっこり現れて世界に変化をもたらすことができるかもしれません」とエリントン氏は言う。彼の心理学における再現研究は、この分野で人気のTEDトークレベルの研究の信頼性を揺るがし、一部の研究者が自警行為と見なした研究への反発を招き、研究者たちに重大な反省を迫った。

ここでの成果ははるかに明確ではありません。再現チームが配布した膨大な補足資料では、「再現性」（同じデータとアプローチで実験を再度行った場合、同じ結果になるか？）と「再現可能性」（新しいデータを用いた重複実験で、確実に同様の結果が得られるか？）が区別されています。

COSチームは、この状況がどれほど複雑であるかを明確に説明しようと努めてきました。実験が再現できなかったとしても、再現不可能というわけではありません。元の研究ではなく、再現方法に問題があった可能性があります。逆に、誰かが完璧に再現または再現できる実験が必ずしも正しいとは限らず、必ずしも有用であったり新規であったりするわけでもありません。

しかし、真実は100%純粋な再現は不可能だということです。同じ細胞株や遺伝子操作されたマウスの系統を使っても、人によって実験のやり方は異なります。もしかしたら、再現チームが材料を揃えられなかった実験の方が、より良い結果が出ていたかもしれません。あるいは、最も権威のある学術誌に掲載された「高影響力」論文は、より大胆でリスクの高い研究であり、再現される可能性が低かったのかもしれません。

がん生物学は大きな賭けだ。結局のところ、命を救う薬の開発につながるはずだ。エリントンのチームで再現されなかった研究は、おそらく危険な薬の開発や患者への悪影響にはつながらなかっただろう。なぜなら、第2相および第3相試験では、有害な遺伝子がふるいにかけられる傾向があるからだ。バイオテクノロジー産業協会（BIO）によると、候補薬のうち第2相試験を通過できるのはわずか30%、第3相試験を通過できるのはわずか58%だ。（安全性と有効性を判断するには良いが、研究費を無駄にし、薬剤費を膨らませるという点では悪い。）しかし、医薬品研究者たちは、承認された薬のほとんど、特にがん治療薬は、それほど効果がないということをひそかに認めている。

科学は明らかに、広範囲にわたって機能しています。では、なぜ実験を再現するのはそれほど難しいのでしょうか？「一つの答えは、科学は難しいということです」とエリントン氏は言います。「だからこそ、私たちは研究に資金を提供し、数十億ドルもの資金を投じているのです。がん研究が人々の生活に確実に影響を与えられるようにするためです。そして、実際にそうしているのです。」

がん研究プロジェクトのような、あまり良いとは言えない成果の肝心な点は、内部的に科学にとって良いことと、一般市民に届いた時に科学にとって良いことの区別をつけることだ。「ここには2つの相反する概念があります。1つは透明性、もう1つは妥当性です」と、ブリガム・アンド・ウィメンズ病院の疫学者、シャーリー・ワン氏は言う。彼女は「再現可能なエビデンス：透明性の向上と達成のための実践（「リピート」イニシアチブ）」の共同ディレクターを務めており、このイニシアチブは電子医療記録をデータとして用いた150件の研究の再現研究を行ってきた。（ワン氏の「リピート」論文はまだ発表されていない。）「問題は、私たちが両者の収束を望んでいるということだと思います」と彼女は言う。「方法と再現性を明確にできなければ、質の高い科学かどうかはわかりません。しかし、たとえそれが可能だとしても、それが良い科学であることを意味するわけではありません。」

つまり、重要なのは特定の結果を批判することではありません。科学をより透明化することで、結果の再現性や理解度を高め、ひいては臨床応用の可能性を高めることです。現状、学術研究者には、他の研究者が再現できる研究を発表するインセンティブがありません。インセンティブがあるのは、ただ論文を発表することだけです。「学術研究における成功の尺度は、一流誌に論文が掲載されることと、その論文の引用数です」とベグリー氏は言います。「産業界にとっての成功の尺度は、市場に出て効果があり、患者を助ける薬です。ですから、アムジェン社は、最初から現実的ではないと分かっていたプログラムに投資することはできませんでした。」

失敗に終わる可能性のある薬物試験への資金の無駄を減らせば、実際には薬物を安くすることができるかもしれない。これは、この研究の資金提供者が明らかに気にかけていることだ。資金は、再現性の研究に長年資金を提供してきたアーノルド・ベンチャーズ（設立当初はローラ・アンド・ジョン・アーノルド財団）から提供された。再現性は、アーノルド夫妻が医薬品ビジネスに対して振るう唯一の武器ではない。彼らはまた、2019年の民主党の薬価引き下げ計画の資金提供者および支持者でもあり、2018年の時点では（ウォール・ストリート・ジャーナルの記事によると）、ハーバード大学医学大学院の臨床経済レビュー研究所の主要資金提供者でもあった。同研究所は、薬の価値をそれがどれだけ延ばすかという関数として計算する質調整生存年と呼ばれる統計的検定の小規模だが強力な支持者である。非常に高価な薬は、数か月や数週間ではなく、寿命を何年も延ばすべきである。

あるいは、より基本的な倫理的判断を考えてみましょう。実験動物は研究の一環として「犠牲」にされ、殺されます。薬物試験に参加する人間のボランティアは、潜在的に苦しみ、リスクを負うことになります。もし実験が成功する見込みがないのであれば、それは全て正当化されません。いつ止めるべきかを知っておくのは良いことです。

では、この問題を解決するには、研究者にデータや手法の最も難しい部分を共有し、プロトコルと仮説を誰もが見られるように事前登録するよう促すことです。これらはすべて、実験の再現を容易にするものです。現在、助成機関はこれらすべてを求めているわけではなく、すべてのジャーナルも同様です。デル・ポゾ氏によると、再現チームのためにプロトコルを明確にするのに時間がかかった理由の一つは、彼が論文を発表したジャーナルが7つの図表しか掲載できなかったためだそうです。つまり、彼のグループは有用であったかもしれない情報を削らなければならなかったのです。「科学とはこういうものです。教義は何度も変わります」と彼は言います。「プトレマイオスが太陽が地球の周りを回っていると嘘をついていたわけではありません。彼が持っていた道具で、それが彼にとって最善の提案だったのです。だから私は恐れていません。」

2021年12月7日午後12時55分（太平洋標準時）更新：この記事の以前のバージョンでは、デル・ポゾ氏の研究と彼が受け取った電子メールの間の期間について誤った記述があり、論文の数とプロジェクトが当初再現しようとしていた実験の数を混同していました。

WIREDのその他の素晴らしい記事

• 📩 テクノロジー、科学などの最新情報: ニュースレターを購読しましょう!
• カリフォルニアの山火事を追跡するTwitterの山火事ウォッチャー
• 科学はオミクロン変異体の謎をどう解明するのか
• ロボットはすぐに倉庫作業員の不足を解消することはない
• 私たちのお気に入りのスマートウォッチは、時間を表示するだけではありません
• ハッカー用語集: ウォーターホール型攻撃とは何ですか?
• 👁️ 新しいデータベースで、これまでにないAIを探索しましょう
• 🏃🏽‍♀️ 健康になるための最高のツールをお探しですか？ギアチームが選んだ最高のフィットネストラッカー、ランニングギア（シューズとソックスを含む）、最高のヘッドフォンをご覧ください