CoeFontが大阪大学の読唇システムLip2jaに音声提供、声を失った方々のQOL向上に貢献

text: XEXEQ編集部
（記事は執筆時の情報に基づいており、現在では異なる場合があります）

PR TIMES より

記事の要約

CoeFontが大阪大学の読唇システムに音声提供
病気で声を失った方のQOL向上に貢献
唇の動きから音声出力が可能に

CoeFontが大阪大学の読唇システムLip2jaに音声提供

株式会社CoeFontは、大阪大学大学院情報科学研究科と医学研究科の研究グループが開発する「読唇による日本語発話システムLip2ja」に対し、AI音声プラットフォーム「CoeFont」を無償で提供することを2024年10月15日に発表した。この取り組みにより、病気等で声を失った方々の唇の動きから伝えたいメッセージを推察し、音声で出力することが可能になる。^[1]

Lip2jaシステムは、スマートフォンなどのカメラで撮影した口元の動画像から、AIを利用して発話内容の文字列を推定する。この推定された文字列をCoeFontに入力することで、実際の音声出力を実現する仕組みだ。患者が手術前に自身の声を登録しておくことで、手術後に失われた声を再現することも可能となっている。

この取り組みは、ご病気に伴う手術などで声を失った方々のQOL（生活の質）向上に大きく貢献することが期待されている。患者本人だけでなく、一緒に暮らす家族のQOL向上にもつながる可能性がある。なお、本デバイスに関する講演は第75回日本気管食道科学会で発表される予定だ。

CoeFontとLip2jaシステムの機能まとめ

	CoeFont	Lip2ja
主な機能	AI音声合成	読唇による文字列推定
入力	テキスト	口元の動画像
出力	音声	推定文字列
特徴	高品質なAI音声生成	AIによる読唇技術
利用シーン	音声合成全般	発話困難者のコミュニケーション支援

読唇技術について

読唇技術とは、人の口の動きを観察して発話内容を理解する方法であり、主に以下のような特徴がある。

視覚情報から音声情報を推定
AI技術の活用により精度が向上
聴覚障害者や発話困難者のコミュニケーション支援に活用

Lip2jaシステムでは、AIを用いて口元の動画像から発話内容を推定している。この技術とCoeFontのAI音声合成を組み合わせることで、声を失った方々のコミュニケーションを支援する画期的なシステムが実現した。将来的には、より多様な医療現場や日常生活でのコミュニケーション支援への応用が期待されている。

参考サイト

^ PR TIMES. 「CoeFont、大阪大学大学院情報科学研究科が研究・開発する「読唇による日本語発話システムLip2ja」に無償でサービス提供 | 株式会社CoeFontのプレスリリース」. https://prtimes.jp/main/html/rd/p/000000091.000078329.html, (参照 24-10-18).

※上記コンテンツはAIで確認しておりますが、間違い等ある場合はコメントよりご連絡いただけますと幸いです。