NABLASがGoogleのSoundStormベースの日本語音声生成モデルを開発、高速かつ自然な音声生成を実現

text: XEXEQ編集部
（記事は執筆時の情報に基づいており、現在では異なる場合があります）

記事の要約

NABLASが日本語音声生成モデルを開発
GoogleのSoundStormをベースに高速生成を実現
医療や顧客サポート、エンターテインメントでの活用に期待

NABLASが開発した日本語音声生成モデルの詳細

NABLASは、Google社が開発した音声生成モデル「SoundStorm」の構造をベースとして、日本語に対応した超高速な音声生成モデルを開発したと2024年8月13日に発表した。このモデルは、数秒のデータを用いて瞬時に日本語の音声生成が可能であり、NABLASが独自に構築した日本語データセットを用いて学習を行うことで、自然な日本語での音声生成を実現している。^[1]

新モデルの特徴として、Speech to Speechの音声生成が可能な点が挙げられる。具体的には、数秒の話者Aの音声データと、発話させたい内容を含む話者Bの音声データを基に、わずか数秒の処理で話者Aの音声で話者Bの発話内容を生成することができる。これにより、医療分野における発話困難者への支援や、カスタマーサポートにおける感情的な音声のリアルタイムな声色調整、エンターテインメント分野での音声生成活用など、幅広い分野での応用が期待されている。

NABLASの開発したモデルは、SoundStorm内部に構築されているConformerモデルの構造をベースとしており、音声生成のクオリティやスピードを維持しつつ日本語に対応している。さらに、日本語での音声生成に適したオーディオコーデックを用いることで、SoundStormが出力する音声品質や生成音声の類似度スコアを上回る結果を得ているという。これにより、より自然で高品質な日本語音声の生成が可能となっている。

NABLASの日本語音声生成モデルの特徴まとめ

	基本性能	日本語対応	応用分野
特徴	超高速な音声生成	自然な日本語生成	幅広い分野での活用
技術基盤	SoundStormベース	独自日本語データセット	Speech to Speech技術
優位性	数秒で音声生成	高品質な音声出力	多様な用途に対応

Conformerモデルについて

Conformerモデルとは、Google社が開発したテキストの全体的な文脈と局所的な文脈を同時にとらえることができる技術を搭載したモデルのことを指しており、主な特徴として以下のような点が挙げられる。

全体的な文脈と局所的な文脈の同時把握が可能
音声認識や自然言語処理タスクで高い性能を発揮
Transformerアーキテクチャと畳み込みニューラルネットワークを組み合わせた構造

NABLASの日本語音声生成モデルは、このConformerモデルの構造をベースとして開発されている。Conformerモデルの特性を活かすことで、日本語の文脈を適切に理解し、より自然で高品質な音声生成を実現している。これにより、従来の音声生成モデルと比較して、より人間らしい抑揚や間合いを持つ日本語音声の生成が可能となっている。

NABLASの日本語音声生成モデルに関する考察

NABLASが開発した日本語音声生成モデルは、医療分野やカスタマーサポート、エンターテインメントなど、幅広い分野での活用が期待される。特に発話困難者への支援ツールとしての可能性は高く評価できる点だ。数秒の音声データから自然な日本語音声を生成できる技術は、コミュニケーションの障壁を取り除く大きな一歩となるだろう。

一方で、この技術の普及に伴い、音声の偽造や悪用といった倫理的な問題が浮上する可能性がある。特にディープフェイク音声の作成が容易になることで、なりすましや詐欺などの犯罪に悪用されるリスクは無視できない。NABLASには、技術開発と並行して、音声生成技術の悪用防止や検出技術の開発にも積極的に取り組むことが求められるだろう。

今後の展望としては、リアルタイムでの対話翻訳や、より複雑な感情表現を含む音声生成など、技術の更なる発展が期待される。また、他言語への拡張や、より少ないデータでの音声生成の実現など、モデルの汎用性を高める取り組みも重要だ。NABLASには、技術の進化と社会的責任のバランスを取りながら、音声生成技術の可能性を最大限に引き出すことが求められている。