- 2022-5-10
- 化学・素材系, 技術ニュース, 海外ニュース
- Collaborations Pharmaceuticals, MegaSyn, Nature Machine Intelligence, Spiez CONVERGENCE, エボラ出血熱, オープンソースソフトウェア, 人工知能（AI）, 再帰型ニューラルネットワーク（RNN：Recurrent Neural Network）, 機械学習モデル, 生化学兵器, 神経ガスVX, 神経毒
バイオベンチャー企業である米Collaborations Pharmaceuticalsの研究者が、2021年9月に開催された会議「Spiez CONVERGENCE」で、創薬のための人工知能（AI）技術が生化学兵器用にゼロから化合物を設計することに悪用される可能性について報告した。『nature machine intelligence』に2022年3月7日付で掲載されたコメント論文によると、再帰型ニューラルネットワーク（RNN：Recurrent Neural Network）を実装した、同社のソフトウェア「MegaSyn」は、わずか6時間足らずで殺傷能力を持つ分子を4万個も設計したという。
本来、MegaSynは機械学習モデルによる生物活性の予測に誘導されて分子を生成し、創薬のために治療に役立つような新しい分子設計を支援する目的で使用されている。しかし、同じ手法でも悪意を持ってその論理を逆転させることで、強い毒性を持つ分子があっという間に設計されたという。
設計された分子の中には、20世紀に開発された最も毒性の強い化学兵器である神経ガスVXの他に、現存する多くの化学兵器や、さらに毒性が強いと予測されるものも含まれていた。しかも、基礎となる生成ソフトウェアは、容易に入手できるオープンソースソフトウェアをベースに構築されている。
論文では、このような悪用リスクについて「私たちはこういった考えをこれまで思い付くことすらなかった。病原体や有毒化学物質を扱う際のセキュリティーへの懸念についてうすうす分かってはいたが、そのようなことは私たちには関係なかった」と述べられており、研究者らの認識が甘かったことを認めている。
エボラ出血熱や神経毒に関する研究を行った際も、機械学習モデルの潜在的な悪影響について研究者らが懸念を抱く可能性もあったが、悪用される可能性について考えが及んでおらず、警鐘が鳴らされることはなかった。
世界中には化学合成を行う企業が何百社もあるが、この分野は規制が緩く、化学兵器として使われる可能性がある非常に毒性の強い新しい毒物の合成を防ぐためのチェックは、現状、ほとんど行われていない。
また、AIの社会的影響に関する議論は、主に安全性、プライバシー、差別、犯罪となる悪用行為といった側面に焦点が当てられており、国家安全保障あるいは国際安全保障については議論されていない。
論文では「責任ある科学者として、私たちはAIの悪用を防ぐ必要があり、私たちが開発するツールやモデルが善きことのためにのみ使用されるよう確実にする必要がある」と呼び掛けている。
