読了時間:3分
AI音声変換:話した言葉を別の声に変える仕組み
ポイントを30秒で
AI音声変換は、話した音声の内容を保つことを目指しながら、声の響きなどを別の声の特徴に近づける処理です。
同じせりふなのに、聞こえる声が違う。音声変換では、入力した話し声の言葉を残すことを目指し、声の響きなどを変えます。録音を加工する場合も、通話中に処理する場合もありますが、すべての方式がリアルタイムで動くわけではありません。
何を入力して、何を変える?
文字から音声を作る仕組みは、文章が入力です。音声変換は、すでに人が話した音が入力です。たとえば、許可を得た演者の声を、作品の別の役に合わせるという使い方が考えられます。これは仮の例であり、変換された声を実在の人の発言として見せることとは目的が違います。
一部の方式では、入力した音声から言葉の内容を表す情報を取り出します。その情報と、出力したい声の特徴を組み合わせ、音として作り直します。AutoVCは、こうした分離と再構成を使う研究の一つです。声帯を取り出したり、声帯の形を実際に変えたりしているわけではありません。
StreamVCという研究には、話の内容や抑揚を保ちつつ声の響きを変える、通話向けの処理が示されています。それは特定の方式での結果です。「どんな声でも、感情や速さをそのままに、遅れなく変えられる」という全体の保証にはなりません。
音声変換と声の複製は同じ範囲ではない
ある人らしい声を作ることを広く「声の複製」と呼ぶ場合があります。その声で文字を読ませる方法も、既存の音声を変換する方法もあります。音声変換が必ず特定の実在人物へのなりすましを意味するわけではありません。ただし、許可なく似た声で発言を作れば、聞く人に誤った印象を与えます。
出力の自然さ、言葉の正確さ、目的の声への似方は別々に確かめる必要があります。なめらかに聞こえても、単語が欠けたり、元の話し方が変わったりする可能性があります。大事な録音では、加工前の音と内容を比べ、変換したことを聞き手に説明してください。
声を変えることは、身元が必ず隠れるという意味でもありません。話の内容や名前など、別の情報から誰かが分かることがあります。変換を使っただけで匿名になったと考えず、何を伝えるかも確認する必要があります。
似た声は本人確認の証拠ではない
FBIは、生成された音声を使って知人などになりすまし、お金を求める詐欺について警告しています。その警告は合成音声全般のリスクであり、すべての事例が音声変換で作られたという証拠ではありません。聞き手は、正確な作り方が分からなくても、依頼を別の方法で確認できます。
家族らしい声で送金を頼まれたら、いったん電話を切り、以前から知っている番号へ自分で連絡してください。つながらなければ、ほかの信頼できる家族などに確認します。FTCも、声だけを信じず、正しいと分かる番号で相手に連絡するよう勧めています。
声が不自然なら疑う材料になりますが、自然に聞こえることは本物の証明になりません。通話中に教えられた新しい連絡先ではなく、既知の経路を使うことが重要です。職場や金融機関の名前で依頼された場合も、通常の確認手続きを省かないでください。
音声変換は、誰が話したように聞こえるかを変える技術です。聞こえた声、実際の発言者、依頼の正当性を分けて考えると、表現への利用も、重要な連絡の確認も判断しやすくなります。
参考資料
- AutoVC: Zero-Shot Voice Style Transfer with Only Autoencoder LossProceedings of the 36th International Conference on Machine Learning / PMLR
- StreamVC: Real-Time Low-Latency Voice ConversionGoogle Research / ICASSP 2024
- Criminals Use Generative Artificial Intelligence to Facilitate Financial FraudFBI Internet Crime Complaint Center (IC3)
- Scammers Use Fake Emergencies To Steal Your MoneyFederal Trade Commission (FTC)