Ai2が完全にオープンな言語モデルとして最高性能を持つ「OLMo 2」をリリース――MetaのLlama 3.1に匹敵

• Tweet
• 

非営利AI研究組織のAllen Institute for Artificial Intelligence（Ai2）は2024年11月26日、完全にオープンな言語モデル「OLMo（Open Language Modeling）」シリーズの2番目となる「OLMo 2」をリリースしたと発表した。

Ai2はMicrosoft共同創設者の故Paul Allen氏が2014年に設立した組織で、2024年2月に最初のOLMoをリリースした。それ以来OLMo-0424やOLMoEを開発し、性能を上げてきた。

今回発表されたOLMo 2は最大5兆トークンでトレーニングされたもので、70億のパラメータを持つ「7B」モデルと、130億のパラメータを持つ「13B」モデルの2つがある。

OLMo 2を一連のベースラインモデルと比較したところ、7Bと13Bともに、完全にオープンなモデルとしては現時点で最高の性能を持ち、同等のサイズのオープンウェイトモデルを上回ることも多いと分かった。完全にオープンなモデルは再現可能なのに対し、オープンウェイトモデルは最終チェックポイントのみ公開されており、学習データやレシピに関する情報は非常に限られているか、まったく知られていない。

OLMo 2 7Bは、オープンウェイトモデルであるMetaのLlama-3.1 8Bの性能を上回った。また、OLMo 2 13Bは、総トレーニングFLOPsが少ないにもかかわらずAlibaba CloudのQwen 2.5 7Bより性能が高かった。そんなOLMo 2モデルは、訓練FLOP数対モデル平均性能のパレートフロンティアに位置している。

これらの結果は、モデル開発の核心となる能力に投資し、さらにトレーニングの安定性、段階的トレーニング、トレーニング後レシピ、実用的な評価フレームワークといった、モデル開発の重要でありながら十分に議論されていない側面に深く取り組んだことにより得られたとしている。

関連情報

OLMo 2: The best fully open language model to date | Ai2