- 2019-10-22
- 制御・IT系, 技術ニュース, 海外ニュース
- DAFx 2019, Trevor Henderson, ポルタメント（グライド）, マサチューセッツ工科大学（MIT）, レガート, 学術, 最適輸送理論（Optimal Transport）
Image courtesy of the researchers
米マサチューセッツ工科大学（MIT）の学生が、「最適輸送理論（Optimal Transport）」を使って、楽器の演奏方法のひとつ「ポルタメント（グライド）」を、2つのオーディオ信号間でリアルタイムに表現できるアルゴリズムを開発した。1種類の楽器だけでなく、ピアノからギターへというように異なる楽器の音もスムーズに切り替えることができる。研究成果は、デジタルオーディオエフェクトに関する国際会議「DAFx 2019」で発表された。
ポルタメントとは、ある音からほかの音へと滑らかに音程を変える表現方法のことで、人間の声、弦楽器、トロンボーンといった連続的に音程を変えられる演奏手段で主に用いられている。
一方、最適輸送理論とは、物やデータポイントを動かす場合の最も効果的な方法を決める幾何学ベースのフレームワークで、サプライチェーン、流体力学、画像アライメント、3Dモデリング、コンピューターグラフィックスなどに適応されている。
大学院でコンピューターサイエンスの研究をしているTrevor Henderson氏は、オルガン奏者でもあり、MITのラジオ局のDJも勤めている。彼は、授業で最適輸送理論を現実世界に適応するという課題が出たとき、この理論がオーディオ信号の補完に使えることに気が付き、その為のDJ機材を作製した。
2つのオーディオ信号間でポルタメントを表現するため、Henderson氏はオーディオクリップを約50ミリ秒のウィンドウに分割。そして、各ウィンドウをフーリエ変換により周波数成分に変換し、ウィンドウ内の周波数成分はそれぞれ合成された「音」としてまとめた。次に最適輸送理論を使って、一方の信号ウィンドウの音がもう一方の音へどのように動けばいいかマッピングすることで、ポルタメントを表現しようとした。ここで周波数再割り当て技術を利用し、隣り合ったウィンドウ同士の干渉を避けることで、歪みのないオーディオ信号を得ることに成功した。
この手法を使えば、ポルタメントを弦楽器以外の楽器、さらに同時に複数の音が出せるポリフォニックな楽器の音源にも拡張できるという。実験では、人間の声と楽器、音と音、曲と曲をスムーズにつなげることができた。
ほかにも滑らかに音をつなぐ奏法として、「レガート」がある。レガートは、連続する2音を途切れなく鳴らす手法で、ポルタメントのように中間の音程は鳴らさない。Henderson氏は今後、出力を入力側にフィードバックすることで自動的にレガートを表現したいと考えている。
