AI

エーアイ

公開：2024-08-10

RecursiveがRAG評価用ツールFlow Benchmark Toolsを公開、日本語性能測定に特化

text: XEXEQ編集部

記事の要約

• RecursiveがRAG評価用ツールを公開
• Flow Benchmark Toolsで日本語RAG性能を測定
• FindFlowの優位性が明らかに

RecursiveのFlow Benchmark Toolsがもたらす新たなRAG評価基準

AIスタートアップのRecursiveは、RAG（検索拡張生成）技術の評価向けにオープンソース型のベンチマーク用ツールパッケージ「Flow Benchmark Tools」を2024年8月9日に公開した。このツールは日本語の性能に焦点を当て、あらゆるRAGパイプラインのベンチマークの標準化を可能にする包括的なパッケージとして開発されている。^[1]

Flow Benchmark Toolsは、セマンティック検索、クエリ生成、LLMに基づいた回答生成など、RAGパイプライン特有の複雑性に対応した機能を搭載している。特筆すべきは、日本語を含む多言語機能を備え、RAGシステム性能における日本語能力を精確に測定できる点だ。これにより、日本の事業会社が自社特有の言語的および文化的ニーズに適したRAGツールを効果的に評価し導入することが可能になる。

Recursiveは公開に先駆け、Flow Benchmark Toolsを使用したベンチマークの検証を実施した。その結果、Recursiveが独自開発したRAGアプリケーション「FindFlow」の優位性が明らかになった。FindFlow SearchAIは質問応答の性能で平均評価4.2を達成し、主要な競合他社のソリューションを上回った。また、FindFlow AnalysisAIは文書全体の分析性能で9.0のスコアを記録し、他の主要AIソリューションを大きく引き離す結果となった。

Flow Benchmark Toolsの主な特長まとめ

RAGについて

RAGとは、「Retrieval-augmented generation」の略称で、外部のナレッジベースから事実を検索・取得し、それを基にして大規模言語モデル（LLM）が最も正確で最新の情報に基づいた生成を行うためのAIフレームワークのことを指す。主な特徴として以下のような点が挙げられる。

• 外部知識ベースを活用した高精度な情報生成
• 最新情報を反映した回答が可能
• LLMの生成プロセスの透明性向上

RAGは従来のLLMと比較して、外部データソースからの情報取得を組み合わせることで、より正確で最新の情報に基づいた回答を生成することが可能だ。これにより、LLMの知識の古さや幻覚の問題を軽減し、ビジネスや研究分野での実用的な応用が期待されている。Flow Benchmark ToolsはこのRAG技術の評価を標準化し、その普及と発展に貢献することを目指している。

Flow Benchmark Toolsに関する考察

Flow Benchmark Toolsの登場により、RAG技術の評価基準が標準化されることで、今後RAGの導入を検討する企業や組織にとって大きな指針となるだろう。一方で、ベンチマークツールの普及に伴い、各RAGソリューションがツールの評価基準に最適化されすぎるリスクも考えられる。実際のユースケースとベンチマーク結果の乖離が生じないよう、継続的な改善と実環境での検証が必要となるだろう。

今後Flow Benchmark Toolsには、より多様な言語や産業分野に特化したデータセットの拡充が期待される。特に、専門性の高い分野や地域特有の言語表現に対応したベンチマーク機能の追加が望まれる。また、RAG技術の進化に合わせて、新たな評価指標や測定手法を柔軟に取り入れられる拡張性も重要になってくるだろう。

Recursiveの取り組みは、オープンソースコミュニティを活用したRAG技術の発展モデルとして注目に値する。今後、グローバルなAIコミュニティの協力を得ることで、Flow Benchmark Toolsがさらに進化し、RAG技術全体の底上げにつながることが期待される。同時に、このツールを通じて日本発のAI技術評価基準が世界に発信されていく可能性も秘めており、日本のAI産業の国際競争力向上にも寄与するかもしれない。

参考サイト

1. ^ Recursive. 「【プレスリリース】AIスタートアップのRecursive、RAG技術の評価向けに、オープンソース型のベンチマーク用ツールを公開 | 株式会社Recursive」. https://recursiveai.co.jp/ja/news/20240806/, (参照 24-08-10).

※上記コンテンツはAIで確認しておりますが、間違い等ある場合はコメントよりご連絡いただけますと幸いです。

「AI」に関するコラム一覧「AI」に関するニュース一覧