海辺での対決シーン。主人公は吼えているのに、波の音はビニール袋を揉んだような音にしか聞こえない。怪物が倒れる瞬間、映像には重みがあるのに、効果音は素材ライブラリで百回は聞いた「ドン」という音のままだ。
問題の多くは「声がリアルに聞こえない」ことではなく、音声トラック全体にある。環境音、アクション音、感情、空間感——どれか一つが欠けただけで、臨場感は崩れてしまう。物理的な世界において、音は決して「誰かが話していること」だけを意味しない。砂利を擦る足音、広がっていくガラスの亀裂、ホールに残る残響の尾——これらはセリフと同じように、物語の一部だ。
映像生成がすでに安定して大作級の絵を出せるようになった今、聴感は新たな弱点になっている。Noizは早い段階から「全方位サウンド」という発想で製品を組み立ててきた。声、音効、アクション音、BGMを同じ能力ラインに置き、TTSだけを作っているわけではない。
目次
「話すだけ」のAIでは足りない理由
コンテンツ制作において、人の声は音声トラックの一部に過ぎないことが多い。
短編ドラマや漫画動画では感情を最大限に振り切りつつ、環境音はクリーンにするか、逆に「それらしく」ざわつかせる必要がある。ゲームでは剣を抜く音、足音、魔法の音、それぞれに質感が求められる。AI生成動画は映像を一発で生成できても、音効を手作業で素材から貼り付けているままだと、リズムが映像と合わせづらい。
業界には長らく一つの単純化があった。「AIの声」といえば音声合成やクローンのことだと決めつける傾向だ。しかしクリエイターの本当の悩みは別のところにある。シーンのカバー範囲が足りない、感情の幅が足りない、質感がリアルでないという点だ。
映画の予告編ナレーションで使われがちな定型的な語り口は、短編ドラマでは感情が平坦に感じられやすい。従来のTTSは発音の正確さを優先するあまり、演技を控えめにしてしまうことがあり、誇張されたカット構成と組み合わさると、視聴者はすぐに違和感を覚える。一方、素材ライブラリの環境音を積み重ねるだけの方法も、映像のリズムと合わず、やはり「貼り付けた感」が出てしまう。
Noizにおける「全方位サウンド」とは何か
Noizは単なる「原稿読み上げ機」ではなく、創作向けの音声エンジンだと考えてほしい。
種類 | 典型的な用途 |
|---|---|
音声・吹き替え | 短編ドラマのセリフ、ナレーション、複数キャラクターのクローン |
環境音 | 波、雨、街の音、室内の残響 |
アクション音・拟音 | 足音、衝突音、ドア、武器音 |
音楽・BGM | 動画のBGM、感情の下地作り |
入力はテキスト、動画、参照音声などを組み合わせられる。海辺の動画を渡せば、波のリズムと画面の雰囲気を分析して、それに合った環境音を生成できる。ゲームのアクション説明を渡せば、対応する打撃音や摩擦音を生成できる。音声と音効は同じモデルロジックの中で学習されており、目標は各パーツを別々に作ることではなく「音声トラック全体として筋が通っていること」だ。
Noizチームは技術路線としてエンドツーエンドを重視している。コアモデルがマルチモーダル入力を直接受け取り、目的の音を出力することで、「まず画像を認識し、次に音色を選び、最後に音効を貼る」という多段階の接続を減らしている。こうした接続のどこか一つがずれると、最終的な仕上がりに必ず粗が出る。
学習データも人の声だけを積み上げているわけではなく、音声、音効、音楽を「音は震動である」という同じ物理的な論理のもとで学習させている。そのメリットは、環境音やアクション音を生成する際に、単に音のステッカーを貼り替えるのではなく、画面の質感や空間との一致がより重視される点にある。
実際の3つのシーンでの活用法
短編ドラマ：感情と環境を同時に押さえる
セリフに情緒タグを付けることで、俺様系、甘系、ミステリー系それぞれに求められる演技感を引き出せる。同じシーンの中で、環境音を声より半段低く抑えたり、あえて半秒の静寂を置いてからセリフに入ったりするのも、演出上の手段だ。
Noizの短編ドラマ向けモデルは感情表現力を重視している。興奮している時は話速が上がり、緊張している時はわずかに声が震える——「爽快感」のあるリズムに合わせている。合成速度が速く、文字あたりのコストも低いため、毎日更新するような試行錯誤にも向いている。
AI生成動画：映像ができた後に聴感を補う
映像モデルが絵を出した後、動画を条件として環境音やアクション音を生成し、「無音の素材」を公開可能な完成品に変える。NoizがHKUST、清華大学などと共同でオープンソース化したAudioX-Turboは、テキストや動画を含むマルチモーダル入力に対応し、わずか4ステップのサンプリングで音声を生成できる。「描き終わった瞬間にすぐ聴ける」ための技術基盤になっている。
ゲームとインタラクティブコンテンツ：まだ存在しない音が必要
SFやファンタジー作品では、素材ライブラリにない音——岩が切り裂かれる音、未知の生物の咆哮——がよく必要になる。物理的な関連性に基づいて合成するのであって、単なる検索では、バージョン更新のスピードに追いつけない。従来の拟音スタジオでは1シーンに数日かかることもあり、日々更新するコンテンツにはあまりに重い負担だ。AI拟音の意味はまさにここにある。
空間感とマルチチャンネル：聴感の次の層
音のリアルさは、音色の正確さだけから生まれるものではなく、音場からも生まれる。あるセリフは大きなホールの中なのか、それとも密閉された車内なのか。距離感、左右の方向感、部屋の残響の尾——これらはすべて、聴覚が「このシーンは本当にそこにあるのか」を判断する際の材料になる。
Noizはすでに2チャンネルの空間感生成を製品化している。環境音を生成する際、方位や距離感の違いを感じられるようになっている。より多チャンネルの方向（劇場級、コンソール向けのイマーシブオーディオ）は、専門的で深い統合を求める顧客向けに、現在も開発が進んでいる。
これは「声がはっきり聞こえること」と同じ製品思想の別の層だ。言葉が聞き取れることも大事だが、その空間が本当に存在すると信じられることも同じくらい大事だ。
TTS専業の製品とどう選ぶか
原稿を滑らかに読み上げ、音色が安定していればいいという場合は、成熟したTTSで十分だ。しかし短編ドラマ、ゲームの予告編、AI生成映像、環境音のある広告など、完成品を作る場合、人の声、環境音、アクション音、BGMを同時にまとめる必要があり、そのプラットフォームが全方位をカバーしているか、動画と音声が同じワークフローの中で揃っているかが問われる。
Noizの差別化はここにある。感情重視の短尺コンテンツ音声＋音声以外の音も同じエンジンで＋理解・編集への拡張（Audio-Omniフレームワークのような）。単一機能で最強を目指すのではなく、「完成品としての聴感」全体で最強を目指している。
視聴者が動画を閉じる理由は、しばしば「見た目はリアルだけど、聴いた感じが嘘っぽい」からだ。セリフ、環境音、アクション音を一本の音声トラックとして設計することで、初めて映像は本当の意味で成立する。声は決して「人が話すこと」だけを意味しない。それはデジタル世界において最後に残った、そして最も補う価値のある臨場感のパーツだ。
次の一歩：環境音がまだない映像素材を一つ用意し、アップロードして合う環境音を生成してみよう。生成した音声トラックと元の声のトラックをミックスして、聴き比べてみてほしい。