スーパーコンピュータ「富岳」で学習した大规模言语モデル「Fugaku-LLM」を公開 －日本语能力に長け、研究?ビジネス利用にも期待－

スーパーコンピュータ「富岳」で学習した大规模言语モデル「Fugaku-LLM」を公開－日本语能力に長け、研究?ビジネス利用にも期待－

2024年5月10日 12:00 | プレスリリース?研究成果

【本学研究者情报】

〇大学院情报科学研究科
准教授　坂口慶祐

【発表のポイント】

日本の計算機技術を用いて開発した日本语能力に優れた大规模言语モデルを公開
スーパーコンピュータ「富岳」の性能を最大限に活用した分散并列学习を実现
础滨基盘モデルを科学研究に活用する「AI for Science」など革新的な研究やビジネスにつながる

【概要】

　東京工業大学学術国際情報センターの横田理央教授の研究チームと東北大学大学院情報科学研究科の坂口慶祐准教授、富士通株式会社人工知能研究所の白幡晃一シニアプロジェクトディレクター、理化学研究所のMohamed Wahib（モハメド?ワヒブ）チームリーダー、名古屋大学大学院工学研究科の西口浩司准教授、株式会社サイバーエージェント AI事业本部AI Labの佐々木翔大リサーチサイエンティスト、Kotoba Technologies Inc. の小岛熙之CEOは、理化学研究所のスーパーコンピュータ「富岳」を用いて学習した日本语能力に優れた大规模言语モデル（用语1）「Fugaku-LLM」を2024年5月10日に公开した。

　今回、深层学习フレームワークを「富岳」に移植してTransformer（用语2）の性能を「富岳」上で最適化するとともに、並列分散学習手法を開発し適用することで、「富岳」を用いて大规模言语モデルの学習を行う際の演算速度を6倍（参考文献1と比较）に高速化した。さらに、「富岳」向けにTofuインターコネクトD（用语3）上での集団通信の最适化を行うことにより、通信速度を3倍（参考文献2と比较）高速化することに成功した。これにより「富岳」のCPUを用いて、現実的な時間内で大规模言语モデルを学習することが可能になった。

　贵耻驳补办耻-尝尝惭は国内で多く开発されている70亿パラメータ（用语4）より一般に高性能、かつ现在の计算机环境下で扱いやすい130亿パラメータのモデルとなっている。今回の学習では、サイバーエージェントが収集した独自の日本语学習データと英語のデータなどを用いているため、透明性と安全性を確保しつつ日本语性能にも優れている。国産かつ独自のデータで学習を行っているオープンなモデルの中では日本语ベンチマークJapanese MT-Bench（用语5）で最高性能を达成し、特に人文社会系のタスクでは高いベンチマーク性能を発挥する。

　贵耻驳补办耻-尝尝惭は、GitHub（用语6）やHugging Face（用语7）を通じ公开しており、ライセンスに従う限りにおいては、研究および商业目的での利用が可能である。

　今后、多くの研究者や技术者が基盘モデルの改善や新たな応用研究に参画することで、さらに効率的な学习方法が创出され、科学シミュレーションと生成AIの连携や、数千のAIによるバーチャルコミュニティの社会シミュレーションなど、次世代の革新的な研究やビジネスでの応用につながることが期待される。

図１　理化学研究所　スーパーコンピュータ「富岳」

【用语解説】

用語１. 大规模言语モデル：
テキストの现れやすさをモデル化したもので、与えられた文脉（问いかけ）に対して続くテキスト（応答）を予测できる。

用語２. Transformer：
単語の系列などを変換するためのニューラルネットワークで、現在の大规模言语モデルでは最も多く用いられている。2017年6月にGoogleが発表した「Attention Is All You Need」という论文で登场した深层学习モデルであり、主に自然言语処理の分野で使用される。

用語３. TofuインターコネクトD：
「富岳」のノード間接続に用いられる6次元トーラスのトポロジーを持つ高速なネットワーク。Tofuとは、Torus fusionを短縮した名称であり、記号「D」は、高密度(High-density)を意味する。

用語４. パラメータ：
大规模言语モデルなどのニューラルネットワークの規模を表す指標の一つ。パラメータが多いほど高性能なモデルになるが、学習にはその分多くのデータが必要になる。

用語５. Japanese MT-Bench：
Stability AI社が提供している日本语のベンチマークテスト

用語６. GitHub：
世界中でオープンソースソフトウェアの公开に使われているプラットフォーム。

详细（プレスリリース本文）