Release of the Large Language Model “LLM-jp-13B” with 13 Billion Parameters / NII より130億パラメータの大規模言語モデル「LLM-jp-13B」が公開
2023/10/20
国立情報学研究所（NII）が主宰するLLM勉強会（LLM-jp）の成果である130億パラメータの大規模言語モデル「LLM-jp-13B」が公開されました。
言語AI研究センターおよびTohoku NLP グループはこの活動に大きく貢献しており、「LLM-jp-13B」の構築にあたっては鈴木潤教授がモデル構築に携わりました。
要旨抜粋
大学共同利用機関法人 情報・システム研究機構 国立情報学研究所（NII、所長：黒橋 禎夫、東京都千代田区）は、本年5月から、自然言語処理及び計算機システムの研究者を中心として、大学・企業等から500名以上が参加するLLM勉強会（LLM-jp）を主宰しています。7月から、計算資源としてデータ活用社会創成プラットフォームmdxを活用し、パラメータ数130億の大規模言語モデル（LLM）の構築を開始しました。このたび、同LLMの事前学習及びチューニングが終了し、モデルを公開しましたので、お知らせします。
同モデルはLLM研究開発としては初期段階のものであり、モデルの性能を示す評価値はこれまでに国内で公開されたモデルと比較して同程度ではありますが、今後のアカデミアや産業界の研究開発に資するため、コーパス等を含めてすべてオープンにするものです。
今後、国立研究開発法人 産業技術総合研究所（産総研）や国立大学法人 東京工業大学（東工大）とも協力して世界トップレベルの性能を持つLLMの構築を目標に研究開発を進めます。その第一歩として、産総研の計算資源であるAI橋渡しクラウド（ABCI)の利用により、より本格的な1750億パラメータ（GPT-3級）のLLMの構築に着手しました。
また、LLMを社会で利活用していく上では、LLMの透明性・信頼性の確保が必要であり、モデルの高度化に伴い、安全性の配慮がより重要となります。今回のモデルや今後構築するモデルを活用してそれらの研究を進め、LLM研究開発の促進に貢献します。