AI

エーアイ

公開：2025-01-31

DeepSeekが画像生成AIモデルJanus-Proを発表、マルチモーダル処理の新たな地平を切り開く

text: XEXEQ編集部
（記事は執筆時の情報に基づいており、現在では異なる場合があります）

記事の要約

• DeepSeekがAIモデルJanus-Proを発表
• 画像生成と理解を統合したフレームワークを実現
• DeepSeek-LLMをベースに高度な機能を実装

DeepSeekの画像生成AIモデルJanus-Proが実現する新たな可能性

中国のAI企業DeepSeekは、画像生成と理解を統合した新たなAIモデル「Janus-Pro」を2024年1月27日に発表した。このモデルは視覚エンコーディングを複数の経路に分離することで、画像の理解と生成の両方の処理を単一のトランスフォーマーアーキテクチャで実現している。^[1]

Janus-ProはDeepSeek-LLM-1.5b-baseおよびDeepSeek-LLM-7b-baseをベースに構築されており、画像入力には384×384ピクセルのサイズに対応したSigLIP-Lをビジョンエンコーダーとして採用している。マルチモーダル処理における柔軟性と効率性を大幅に向上させ、タスク固有のモデルと同等以上の性能を実現することに成功した。

DeepSeekはJanus-Proのコードリポジトリに対してMITライセンスを適用し、研究者やデベロッパーがより自由にモデルを活用できる環境を整備している。画像生成においては16倍のダウンサンプリングを行うトークナイザーを採用することで、効率的な処理を実現しつつ高品質な出力を可能にしている。

Janus-Proの主要機能まとめ

マルチモーダルについて

マルチモーダルとは、複数の異なる種類のデータや情報を統合して処理する技術のことを指しており、主な特徴として以下のような点が挙げられる。

• テキストと画像など異なる形式のデータを同時に処理
• 複数のモダリティ間での相互理解と生成が可能
• 統合的な情報処理による高度な認識と表現を実現

マルチモーダルモデルは従来の単一モダリティモデルと比較して、より豊かな情報処理と表現が可能となっている。Janus-Proはこのマルチモーダル技術を活用し、画像とテキストの双方向の理解と生成を単一のアーキテクチャで実現することに成功している。

Janus-Proに関する考察

Janus-Proが採用した視覚エンコーディングの分離アプローチは、画像処理における理解と生成の両立という課題に対する革新的な解決策となっている。特に単一のトランスフォーマーアーキテクチャでこれらの機能を実現できる点は、モデルの効率性と拡張性を大きく向上させる可能性を秘めているだろう。

今後の課題として、より大きな画像サイズへの対応や処理速度の最適化が挙げられる。現状の384×384ピクセルという制限は、高解像度の画像処理が必要なケースでは制約となる可能性があるため、画質と処理効率のバランスを保ちながら入力サイズの拡大を実現することが望まれる。

DeepSeekには継続的なモデルの改善と機能拡張を期待したい。特にマルチモーダル処理の精度向上や新しいユースケースへの対応など、AIモデルの可能性をさらに広げる取り組みが重要になるだろう。MITライセンスの採用により、開発者コミュニティからのフィードバックや貢献も期待できる。

参考サイト

1. ^ Hugging Face. 「deepseek-ai/Janus-Pro-7B · Hugging Face」. https://huggingface.co/deepseek-ai/Janus-Pro-7B, (参照 25-01-31).

※上記コンテンツはAIで確認しておりますが、間違い等ある場合はコメントよりご連絡いただけますと幸いです。

「AI」に関するコラム一覧「AI」に関するニュース一覧