AI

エーアイ

公開：2024-10-13

PFNとPFE、GENIAC第2サイクルで日本語AI開発加速へ 推論コスト1/10以下で最高性能目指す

text: XEXEQ編集部
（記事は執筆時の情報に基づいており、現在では異なる場合があります）

記事の要約

• PFNとPFE、GENIAC第2サイクル事業者に採択
• 1000億トークンの高品質データセット構築へ
• 推論コスト1/10以下で最高性能モデル開発目指す

PFNとPFE、GENIAC第2サイクル事業者に採択され日本語AIモデル開発を加速

Preferred Networks(PFN)と子会社のPreferred Elements(PFE)は、経済産業省と新エネルギー・産業技術総合開発機構(NEDO)が実施する生成AI基盤モデル開発プロジェクト「GENIAC」の第2サイクル事業者に採択された。両社は1000億トークンの高品質データセットを大規模言語モデル(LLM)を活用して構築し、日本語最高性能のAIモデル開発を目指している。^[1]

このプロジェクトでは、GENIAC第1サイクルで達成した日本語最高性能と同等もしくはそれを超える性能を、10分の1以下の推論コストで実現するLLMをフルスクラッチで開発することが目標だ。高品質な学習データを用いて最大300億パラメータモデルの事前学習と事後学習を行い、Mixture of Expert(MoE)や状態空間モデルを採用することで、利用時のアクティブパラメータを80億相当に抑える計画である。

PFNとPFEは、開発を通して取得するノウハウを部分的にテックブログ等で公開する予定だ。また、PLaMoシリーズとしてAPIやプロダクトの商用展開も視野に入れている。日本語性能に優れた世界標準の生成AI基盤モデルの開発を通じて、日本の産業のイノベーション促進と国際競争力の向上に寄与することを目指している。

GENIAC第2サイクルプロジェクトの概要

大規模言語モデル(LLM)について

大規模言語モデル(LLM)とは、膨大な量のテキストデータを学習し、人間の言語を理解・生成できる人工知能モデルのことを指す。主な特徴として以下のような点が挙げられる。

• 大量のテキストデータから言語の規則性を学習
• 自然言語処理タスクで高い性能を発揮
• 文章生成や質問応答などの幅広いタスクに対応

LLMは学習データ量とモデルサイズの増大によって性能が向上する傾向があるが、同時に計算コストも増大する。PFNとPFEが取り組むGENIAC第2サイクルプロジェクトでは、高品質なデータセットの構築とMoEなどの効率的な手法の採用により、モデルサイズを抑えつつ高い性能を実現することを目指している。

GENIAC第2サイクルプロジェクトに関する考察

PFNとPFEによるGENIAC第2サイクルプロジェクトは、日本語AIモデル開発において画期的な取り組みだ。1000億トークンという大規模な高品質データセットの構築は、日本語処理におけるAIの性能向上に大きく寄与する可能性がある。また、推論コストを10分の1以下に抑えつつ最高性能を目指す approach は、AIの実用化と普及を加速させるだろう。

一方で、このプロジェクトには技術的な課題も存在する。300億パラメータという大規模モデルの学習には膨大な計算リソースが必要となり、開発コストの増大が懸念される。また、MoEや状態空間モデルなどの先進的な手法を採用することで、モデルの複雑性が増し、解釈性や制御性に課題が生じる可能性もある。

今後、PFNとPFEには開発過程で得られた知見の積極的な共有が期待される。日本のAI研究コミュニティ全体でノウハウを共有することで、国内のAI開発力底上げにつながるだろう。さらに、開発されたモデルのAPIやプロダクト展開を通じて、様々な産業分野でのAI活用が促進されることが期待される。

参考サイト

1. ^ . 「GENIAC第2サイクルに継続採択 - 株式会社Preferred Networks」. https://www.preferred.jp/ja/news/pr20241010/, (参照 24-10-13).
2. 経済産業省. https://www.meti.go.jp/index.html

※上記コンテンツはAIで確認しておりますが、間違い等ある場合はコメントよりご連絡いただけますと幸いです。

「AI」に関するコラム一覧「AI」に関するニュース一覧