AllganizeがRAG性能評価のLeaderboardを公開、日本企業のAI活用促進に期待

text: XEXEQ編集部
（記事は執筆時の情報に基づいており、現在では異なる場合があります）

PR TIMES より

記事の要約

AllganizeがRAG性能評価のLeaderboardを公開
5つの業種ドメインで日本語RAG性能を評価
主要RAGソリューションの性能を客観的に比較

Allganize RAG Leaderboardの公開と特徴

Allganize Japan株式会社は日本語RAG性能を評価した国内初のRAG Leaderboardを2024年9月13日に公開した。このLeaderboardは金融、情報通信、製造、公共、流通・小売の5つの業種ドメインにおける主要なRAGソリューションの日本語RAG性能を評価している。RAGは社内ドキュメントや特定情報から信頼できるデータを検索し、LLMに回答させる技術で企業内部情報の生成AI活用やハルシネーション低減に注目されているのだ。^[1]

Allganize RAG Leaderboardの特徴として、RAGソリューションの3つの要素（Parser、Retriever、Generation）を評価している点が挙げられる。また、5つの業種ドメインについて図表を含むドキュメントのRAG性能を評価しており、各ドメイン12〜14のドキュメントに対して60個の質問を行っている。客観性を保つため、自動性能評価方法を採用し、4つのLLM Evalを用いて評価を実施している。

評価対象のRAGソリューションには、AllganizeのAlli、LangChain、OpenAI Assistant、Cohereが含まれている。このLeaderboardはAI・機械学習分野に特化したプラットフォーム「Hugging Face」で公開されており、検証に使用したデータセットや各RAGソリューションのリンクも公開されている。これにより、誰でも同様の検証を行うことが可能となっている。

Allganize RAG Leaderboardの特徴まとめ

	評価要素	対象ドメイン	評価方法
主な特徴	Parser、Retriever、Generation	金融、情報通信、製造、公共、流通・小売	自動性能評価（4つのLLM Eval使用）
評価内容	RAGソリューションの3要素を総合的に評価	各ドメイン12〜14ドキュメント、60問の質問	客観性を保つ自動評価システム
対象ソリューション	Alli、LangChain、OpenAI Assistant、Cohere	図表を含む実際の業務ドキュメントを使用	あらかじめ用意した正解回答との比較

Allganize RAG Leaderboardの詳細はこちら

RAGについて

RAGとは、Retrieval Augmented Generation（検索拡張生成）の略称で、大規模言語モデル（LLM）の出力を改善するための技術である。主な特徴として、以下のような点が挙げられる。

外部知識ソースから関連情報を検索し、LLMの入力に追加
最新または特定のドメイン知識をLLMに提供可能
ハルシネーション（誤った情報の生成）のリスクを低減

RAGは特に企業の内部情報や特定情報を生成AI・LLMで活用する際に重要な役割を果たす。Allganize RAG Leaderboardでは、ParserやRetrieverなどRAGの主要コンポーネントの性能を評価しており、企業がRAGソリューションを選択する際の参考情報として活用できる。RAGの実装技術や仕組みによって回答精度が大きく変わるため、このような客観的な評価指標は非常に重要だ。

Allganize RAG Leaderboardに関する考察

Allganize RAG Leaderboardの公開は、日本企業のRAG導入を促進する可能性が高い。特に、5つの主要業種ドメインに対応した評価は、各業界の特性に合わせたRAGソリューションの選定に役立つだろう。一方で、評価基準の透明性や、より多くのRAGソリューションの包括的な比較が今後の課題となる可能性がある。これらの課題に対しては、評価手法の詳細な公開や、定期的なアップデートによる評価対象の拡大が解決策として考えられる。

今後、AllganizeのRAG Leaderboardには、より多様な業種や言語への対応が期待される。特に、多言語対応のRAG性能評価は、グローバル展開を目指す日本企業にとって有用な情報となるだろう。また、RAGソリューションの性能だけでなく、導入や運用のしやすさ、コスト効率などの実用的な側面も評価対象に含めることで、より包括的な指標となる可能性がある。

RAG技術の進化に伴い、Leaderboardの評価基準も継続的に更新されることが重要だ。例えば、マルチモーダルRAGや、より複雑な質問に対する回答能力の評価など、新たな評価軸の追加が考えられる。Allganize RAG Leaderboardが、日本企業のRAG活用の指針となり、ひいては日本のAI活用促進に貢献することを期待したい。

参考サイト

^ PR TIMES. 「Allganize、日本語RAG性能を評価した「Allganize RAG Leaderboard」を本日公開 | Allganize Japan株式会社のプレスリリース」. https://prtimes.jp/main/html/rd/p/000000061.000034106.html, (参照 24-09-14).

※上記コンテンツはAIで確認しておりますが、間違い等ある場合はコメントよりご連絡いただけますと幸いです。