感情ごと声を運ぶAI吹き替え——ElevenLabs Dubbing v2とHeyGen・Rask AIの最新動向

今週の音声AI編集はテーマを「音声クローン・多言語吹き替え・ダビング」に設定。ElevenLabsが感情ごと声を運ぶ新モデルを出し、HeyGenやRask AIが動画ローカライズ市場でしのぎを削り、YouTubeも自動吹き替えを拡張している。一方でEUは8月から合成音声の表示義務を本格適用する。今どこまで「声」を複製・翻訳できるのか、権利面の注意点とあわせて整理する。

ElevenLabs「Dubbing v2」——文字起こしを経ずに感情ごと訳す

ElevenLabsが5月に発表した「Dubbing v2」は、これまでのAI吹き替えの弱点だった「一度テキストに書き起こしてから翻訳・再合成する」工程を経由しない点が特徴だ。原音声の抑揚やテンポを直接読み取ってモデルに反映するため、笑い声や間の取り方、感情の起伏が翻訳後の音声にも残りやすい。話者の声質も自動でクローンされ、90以上の言語に対応する。現時点ではElevenCreativeやElevenProductions経由での提供が中心で、単体APIはアルファ段階にとどまる。

HeyGen・Rask AI——リップシンクまで含めた「動画丸ごと翻訳」競争

声だけでなく口の動きまで合わせる「リップシンク吹き替え」では、HeyGenとRask AIが代表格として名前が挙がることが多い。HeyGenのVideo Translateは175以上の言語に対応し、話者の声をクローンしたうえで口の動きを翻訳後の音声に合わせ直す。Rask AIは130以上の言語をカバーし、最大10人までの話者をそれぞれ個別にクローンして多人数の会話動画にも対応する。どちらも「文字起こし→翻訳→音声合成→映像同期」を一気通貫で行うワークフローツールという位置づけで、ポッドキャストや講演動画を多言語展開したい制作現場からの引き合いが強い。

YouTubeの自動吹き替えも「感情を残す」方向へ

YouTube公式ブログによれば、2026年時点で自動吹き替え機能は27言語に対応し、12月時点で1日平均600万人以上が10分以上の自動吹き替え動画を視聴しているという。従来は機械的な読み上げ調になりがちだった点を改善するため、英語・フランス語・ドイツ語・ヒンディー語など8言語向けに「Expressive Speech」機能を導入し、話者本来のトーンを残す方向に舵を切った。さらに口の動きを翻訳音声に合わせる「リップシンク」機能も試験提供が始まっている。ただし自動生成された吹き替えトラックはクリエイター側で部分編集ができず、誤訳があっても差し替えるか非公開にするしかない点は運用上の注意点だ（詳細はYouTubeヘルプ参照）。

声を複製する前に——同意と表示義務のルール

ツールが手軽になった分、権利面のルール整備も進む。EUではAI法（AI Act）第50条が2026年8月2日から本格適用され、AIで生成・加工した音声や映像であることを利用者に明示する義務が課される。実在の人物の声に似せたコンテンツは、欺く意図がなくても表示義務の対象になる点が特徴で、違反時の制裁金は最大で世界売上高の3%または1500万ユーロに達しうる。米国では州ごとにディープフェイク規制の温度差があり、無断での声のクローン利用を人格権侵害として扱う判例も出てきている（州別の状況はRecordingLaw.comの一覧が参考になる）。商用で声をクローンする際は、本人からの明示的な同意取得と、各サービスの利用規約・地域ごとの法規制の確認が欠かせない。

主要ツール比較

主な情報源

• ElevenLabs公式ブログ「Introducing Dubbing v2」
• HeyGen「AI Video Translator」公式ページ
• Rask AI公式サイト
• YouTube公式ブログ「Unlocking a global audience with auto dubbing」
• YouTubeヘルプ「自動吹き替えを利用する」
• 欧州委員会「Guidelines on transparency obligations」（AI法第50条）
• RecordingLaw.com「Deepfake & AI Voice Cloning Laws by State」

音声クローン等は本人の同意と各サービス規約の遵守が前提です。生成物の権利・商用条件は各規約をご確認ください。情報は公開時点のものです。収集・要約はAI、公開判断は人が行っています。