AI

エーアイ

公開：2024-10-13

ClouderaがNVIDIA NIM搭載のAI推論サービスを発表、LLMパフォーマンスが36倍に向上

text: XEXEQ編集部
（記事は執筆時の情報に基づいており、現在では異なる場合があります）

記事の要約

• Cloudera AI Inferenceが発表され、NVIDIA NIMを搭載
• LLMのパフォーマンスが最大36倍に向上
• エンタープライズAI開発とデプロイメントを加速

Cloudera AI Inferenceの発表とNVIDIA NIMの統合

Cloudera株式会社は、2024年10月10日に開催されたデータおよびAIに関する年次カンファレンス「EVOLVE24 New York」にて、NVIDIA NIMマイクロサービスを搭載したCloudera AI Inferenceの提供開始を発表した。このサービスは、業界初のNIMマイクロサービス機能を組み込んだAI推論サービスであり、企業が大規模AIモデルのデプロイや管理プロセスを合理化し、パイロット段階から本番環境への移行を容易にする。^[1]

Cloudera AI Inferenceは、NVIDIA Tensor Core GPUsを活用することで、CPUと比較して約4倍のスループット向上を実現し、エンタープライズグレードの大規模言語モデル（LLM）構築、カスタマイズ、デプロイメントを可能にする。このサービスにより、開発者はUIとAPIを直接NVIDIA NIMマイクロサービスコンテナに統合でき、コマンドラインインターフェース（CLI）や個別のモニタリングシステムが不要となる。

さらに、Cloudera AI InferenceはClouderaのAI Model Registryサービスと統合され、モデルのエンドポイントとオペレーション両方のアクセス制御を管理し、セキュリティとガバナンスを強化する。このサービスは、LLMのデプロイメントでも従来モデルでも、すべてのモデルを単一サービスでシームレスに管理する統一プラットフォームを提供し、ユーザーに多大な利益をもたらすだろう。

Cloudera AI Inferenceの主な機能まとめ

大規模言語モデル（LLM）について

大規模言語モデル（LLM）とは、膨大な量のテキストデータを学習し、人間のような自然言語処理能力を持つAIモデルのことを指しており、主な特徴として以下のような点が挙げられる。

• 大量のテキストデータを基に学習し、高度な言語理解能力を持つ
• 自然言語生成、質問応答、翻訳など多様なタスクに対応可能
• 転移学習により、少量のデータで特定のタスクに適応できる

Cloudera AI Inferenceは、LlamaやMistraなどのオープンソースLLMを最適化し、企業がこれらの大規模言語モデルを効率的にデプロイし管理することを可能にする。NVIDIA NIMマイクロサービスとの統合により、LLMのパフォーマンスを最大36倍向上させ、企業が生成AIの可能性を最大限に引き出すことを支援する革新的なプラットフォームとなっている。

参考サイト

1. ^ . 「Cloudera 、生成 AI の開発とデプロイメントを加速する組み込み型 NVIDIA NIM マイクロサービスを搭載したAI 推論サービスおよび、新機能を発表 | Cloudera株式会社のプレスリリース」. https://prtimes.jp/main/html/rd/p/000000018.000124537.html, (参照 24-10-13).
2. NVIDIA. https://www.nvidia.com/ja-jp/

※上記コンテンツはAIで確認しておりますが、間違い等ある場合はコメントよりご連絡いただけますと幸いです。

「AI」に関するコラム一覧「AI」に関するニュース一覧