AIボイスオーバーや音効制作をやったことがある人なら、あの流れに心当たりがあるはずだ。プロンプトを入力し、一度生成する。違う。もう一度。まだ違う。また引き直す。
画像生成の世界はすでにこの段階を抜けている——「運任せで出力する」段階から、直したい場所を指定してそこだけ直す編集ワークフローへ。音声はまだその手前にいる。理解、生成、編集はたいてい別々の3つのツールに分かれ、書き出すファイルも3種類、タイムラインの調整も3回必要になる。
Audio-Omniが変えようとしているのはまさにこの部分だ。「聴き取る→作る→直す」を一つのフレームワークの中で完結させる。この研究はSIGGRAPH 2026に採択され、香港科技大学、テンセントWeChat Vision、北京大学などのチームが参加している。Noizのアルゴリズム責任者である田泽越（Zeyue Tian）も論文の著者の一人であり、Noizはこの研究能力を製品機能として段階的に実装している。
目次
クリエイターがなぜ「三位一体」を必要とするのか
NoizのCEO、陳前（Chen Qian）はインタビューで実際の制作フローを率直に語っている。
短編動画、短編ドラマ、広告のボイスオーバーは、「一度生成して終わり」というケースはほとんどない。まず素材が何を語っているのか、感情の起伏がどこにあるのかを理解する必要がある。次にセリフや環境音を生成する。最後にタイムライン上で、単語を一つ直したり、雑音を一層取り除いたり、衝突音を一つ加えたりする。
三つのモデルに分けてしまうと、各段階で情報が失われる。理解モデルは後で編集できるかどうかを知らない。生成モデルは前段で何が分析されたかを知らない。編集モデルはさらにその前の文脈にすらアクセスできない。クリエイターはその間、三つの異なるインターフェースの間でファイルを行き来させることになる。
Audio-Omniのアプローチは統合フレームワークだ。汎用的な環境音、音楽、音声を同じシステムで処理し、指示ベースの編集を最初から組み込んでいる。
技術アーキテクチャ：二つの要素がどう連携するか
論文の構造は、二つの要素の連携としてまとめられる。
凍結されたマルチモーダル大規模言語モデル（MLLM）
「考える」部分を担う。音声の内容、シーン、話者を理解し、さらに世界知識を動員できる。「レッド・ツェッペリンのドラマーが演奏する楽器」というプロンプトに対して、モデルはドラムだと推論し、対応する音を生成できる。この種の推論能力は、テキストと音声のペアデータだけでは学習しにくい。
学習可能な拡散生成器（DiT）
「作る」部分を担う。理解した内容を高忠実度の音声へと変換する。高次の意味情報はクロスアテンションを通じて注入され、低次のタイミング、音色、映像との整合はシグナルレベルの接続で処理される。これによりリップシンクや画面との対応が取りやすくなる。
チームはまたAudioEditデータセットも構築した。100万件を超える指示編集サンプルを、実際の動画からのマイニングとプログラムによる合成の両方から集めており、「音を加える、消す、スタイルを変える」といった操作に学習データを与えている。
一つ興味深い発見がある。MLLMに接続する際、最終層より一つ前の層の方が音声合成に適していることが多いという点だ。最終層は「次のトークンを予測する」ことに偏りすぎており、音響的な細部が均されてしまう。最終層の一つ前の層には、合成に必要な情報がより多く残っている。これは大規模言語モデルと音声生成を組み合わせる際の一つの参考になる知見だ。
できること：9種類の生成＋5種類の編集
生成側（一部抜粋）
テキストから環境音、テキストから音楽
動画からボイスオーバー、動画から音楽
テキスト読み上げ、ゼロショット音声変換
多言語対応の指示（中国語、日本語、フランス語など、そのままプロンプトとして使える）
知識に基づく生成、参照音声のスタイルを引き継いだ続き生成
編集側（一部抜粋）
追加：既存の環境音に新しい要素（スケートボードの音、獅子の咆哮など）を加える
削除：歌声や飛行機の音など特定の成分を取り除く
抽出：混ざった音の中から救急車のサイレンなどを取り出す
スタイル変換：犬の鳴き声を打撃音に変える、リズムの輪郭は保ったまま
音声編集：数語だけ変更し、音色はできるだけ変えない
短編ドラマチームにとって「セリフを一言直すために全編を録り直さなくていい」というのは、後編集の時間を大幅に削減できる。動画クリエイターにとっても「画は完成済みで、そこに合う環境音を追加する」という作業が、当てにできるものになる。
「一つの大規模モデルで全部やる」との違い
マルチモーダル大規模言語モデルは音声と映像を融合させることに確かに優れているが、音声には独自の物理的な次元がある。空間感、質感、残響、リズムの整合など、ピクセルと同じデータで扱えるものではない。
Noizチームは以前から独立した聴覚エンジンの長期的な価値を主張してきた。プロダクトの入り口が一つであっても、その裏側では音声専用に学習され、音響法則に合わせて調整されたシステムが必要だという考え方だ。Audio-Omniはそのエンジン能力を集約して示したものであり、Noizのプロダクト層はそれを論文のデモではなく、クリエイターが実際にクリックできる機能へと変換している。
Noizユーザーにとっての意味
短期的には、Noizの一体型Studioの中でこの方向性の変化を直接感じられるはずだ。
セリフを生成する際、システムが「このセリフがどんなシーンにあるか」をより正確に把握する
音楽、音効、音声が同じプロジェクト内で調和し、アプリを切り替える回数が減る
編集機能が実装されるにつれ、「引き直す」回数が減り、「正しく直す」までのステップ数も減る
長期的には、Audio-Omniは音声が「生成ツール」から「創作システム」へと移行することを示している。画像の分野では、編集能力が成熟すると生産量がさらに一段階上がることが既に実証されている。音声は今、まさに同じ転換点にある。
オープンソースと関連リンク
プロジェクトページ：Audio-Omni
コードとモデル：GitHub / Hugging Face
Noizは同時期にAudioX-Turboの方向性も進めており、多段階拡散の推論ステップ数を圧縮して、リアルタイムのインタラクティブなユースケースをより実用的にしている。理解と編集は「正しいかどうか」を解決し、推論効率は「リアルタイムのやり取りに追いつけるかどうか」を解決する。この二つの方向性は最終的にプロダクトの中で合流する。
音声制作における次の競争軸は、「より人間らしく聞こえるか」だけではなく、「素材をどれだけ深く理解し、やり直しをどれだけ減らせるか」になる。Audio-Omniは理解・生成・編集を一つのフレームワークに収め、この流れの土台を作っている。
統合されたオーディオワークフローをまず体感したいなら、Noiz AIのテキスト読み上げから始めて、同じプロジェクトの中でセリフと環境音の組み合わせを試してみてほしい。