東京工業大学や東北大学、富士通などの研究グループは2024年5月10日、理化学研究所のスーパーコンピューター「富岳」を用いて学習した、日本語能力に長けた大規模言語モデル（LLM）「Fugaku-LLM」を公開した。LLMは生成AIの基盤技術となる。
Fugaku-LLMは、性能の指標となるパラメーターの数が130億あり、国内で多く開発されている70億パラメーターのモデルより高性能で扱いやすい。サイバーエージェントが収集した独自の日本語学習データと英語のデータなどを用いているため、透明性と安全性を確保しつつ日本語性能にも優れている。敬語など日本語の特徴を踏まえた自然な対話が可能で、特に人文社会系の知識に強い。
また、LLMの学習には通常、GPUが用いられるが、LLM学習のために世界でGPU不足が起きている。このため、今回はGPUではなく、富士通製の国産CPUを用いた富岳の計算能力を向上させたうえで、LLMを学習した。GPUを使わずにAIの基盤技術を開発できたことについて、研究グループは「日本の半導体技術の活用や、経済安全保障の観点からも重要だ」としている。
今回開発されたLLMは、研究者や技術者が利用できるようネット上で公開した。「多くの研究者や技術者が基盤モデルの改善や新たな応用研究に参画することで、次世代の革新的な研究やビジネスでの応用につなげてほしい」としている。
関連情報
スーパーコンピュータ「富岳」で学習した大規模言語モデル「Fugaku-LLM」を公開 日本語能力に長け、研究・ビジネス利用にも期待 | 東工大ニュース | 東京工業大学
