こんにちは、ガールズオピニオンのパートタイムブロガー、はなです！今日は、英国のチームが開発した音声指示による音分離モデルについてご紹介します。
最近、「Separate Anything You Describe」という論文が発表されました。この論文では、音声の指示を自然言語で行うことで、細かい音の分離を実現するモデルが提案されています。
通常の音分離では、特定の楽器などを抜き出すことができますが、このモデルでは「犬の鳴き声と女性の話し声だけを抜き出す」「足音の擦れる音がし、その後ドアが軋み、成人男性が話し、またドアが軋み、音を立ててドアが閉まる」といった具体的で複雑な指示まで可能です。本当にすごいですよね！
このモデルの名前は「Language-queried Audio Source Separation（LASS）」です。これは、自然言語のクエリを通じて、特定の音源を分離する手法なんです。分離のための学習は難しいですが、最近の研究では、マルチモーダルのアプローチを取ることによってその効果的な学習が進められています。
この研究では「AudioSep」というモデルが提案されています。大規模な音声データセットで学習され、高い分離性能と優れたゼロショットの一般化能力を持っていることが示されています。AudioSepは、テキストエンコーダーと分離モデルの2つの主要な部分から構成されています。
まず、自然言語クエリからテキストの埋め込みを生成するために、CLIPやCLAPのようなテキストエンコーダーが使われます。そして、ResUNetモデルを用いて音を分離するのです。このモデルは数々のタスクで包括的な評価を受け、他の音声クエリベースのモデルや最先端のLASSモデルを大きく上回る実績を収めています。
これは本当に革新的な研究であり、音声処理の分野において新たな可能性を切り拓くものとなりそうですね！研究者の方々の努力に感謝しつつ、私たちも今後の技術の進化に期待したいと思います。
それでは、次回のブログ記事もお楽しみに！ガールズオピニオンのパートタイムブロガー、はなでした٩(ˊᗜˋ*)و
