Allganize JapanがRAGソリューションの日本語性能評価「Allganize RAG Leaderboard」をHugging Faceで公開、5つの業種ドメインで主要ソリューションを比較

text: XEXEQ編集部
（記事は執筆時の情報に基づいており、現在では異なる場合があります）

記事の要約

Allganize JapanがRAG Leaderboardを公開
日本語RAGソリューションの性能を評価
5つの業種ドメインで性能を比較

Allganize JapanがRAGソリューションの日本語性能評価を公開

Allganize Japan株式会社は、2024年9月13日にRAGソリューションの日本語性能を評価した「Allganize RAG Leaderboard」をHugging Faceにて公開した。この取り組みは、国内初となるRAG性能に特化したLeaderboard（性能表）であり、金融、情報通信、製造、公共、流通・小売の5つの業種ドメインにおける主要なRAGソリューションの日本語RAG性能を評価している。^[1]

RAG（Retrieval Augmented Generation）は、社内ドキュメントや特定情報から信頼できるデータを検索・抽出し、そのデータに基づいてLLMに回答させる技術だ。企業内部情報の生成AI・LLM活用やハルシネーション低減の役割で注目されているが、RAGの実装方法は各社によって異なるため、採用するRAGソリューションによって回答精度が変わってくる。

Allganize RAG Leaderboardは、客観的な手法で主要なRAGソリューションの性能を評価した性能表だ。企業のRAG導入検討の参考となるよう、Allganizeが作成・公開したものである。評価対象には、Allganize自社のRAGソリューション「Alli」をはじめ、LangChain、OpenAI Assistant、Cohereなどが含まれており、今後も評価対象を追加する予定だという。

Allganize RAG Leaderboardの特徴まとめ

	評価対象	評価方法	対象ドメイン
主な特徴	RAGソリューションの3要素（Parser、Retriever、Generation）	自動性能評価（4つのLLM Evalを使用）	金融、情報通信、製造、公共、流通・小売の5業種
評価データ	図表を含む複雑な文書	各ドメイン12〜14ドキュメント、60個の質問	業種ごとに異なるドキュメント形態・内容
公開情報	Alli、LangChain、OpenAI Assistant、Cohereなど	検証に使用したデータセット、各RAGソリューションのリンク	Hugging Faceにて公開

Allganize RAG Leaderboardの詳細はこちら

RAG（Retrieval Augmented Generation）について

RAG（Retrieval Augmented Generation）とは、大規模言語モデル（LLM）の回答生成を拡張する技術のことを指しており、主な特徴として以下のような点が挙げられる。

外部データソースから関連情報を検索・抽出
抽出した情報を基にLLMが回答を生成
企業内部情報の活用やハルシネーション低減に有効

RAGは、Allganizeが提供するオールインワン生成AI・LLMアプリケーションプラットフォーム「Alli LLM App Market」にて標準提供されている。このプラットフォームでは、RAG対象のドキュメント管理、Retrieverの最適化機能、ユーザー向けのインターフェースなど、企業活用に必要な要素が揃っており、アプリを選択するだけですぐに業務活用が可能となっている。

Allganize RAG Leaderboardに関する考察

Allganize RAG Leaderboardの公開は、日本企業のRAG導入を促進する重要な一歩となるだろう。特に、図表を含む複雑な文書を対象とした評価は、実際の業務環境に近い条件での性能比較を可能にしている。ただし、評価対象のRAGソリューションが限られているため、今後はより多くのソリューションを含めた包括的な評価が求められるだろう。

一方で、RAGの性能評価には技術的な課題も残されている。例えば、業種ごとに異なるドキュメント形態や内容に対する評価の一般化や、長期的な性能の安定性の検証などが挙げられる。AllganizeにはこれらのRAG評価の進化を希望するだけでなく、企業の文書管理や業務効率化を総合的に支援するソリューションの開発も期待したい。

今後、AI技術の進化に伴い、RAGの重要性はさらに高まると予想される。Allganize RAG Leaderboardが、日本企業のRAG導入の指針となり、業務効率化や意思決定支援の向上に貢献することを期待する。同時に、RAGの評価基準や方法論の標準化に向けた業界全体の取り組みも必要になるだろう。