楽譜をその場でスキャン、リアルタイムに演奏できるデバイス「Gocen」

首都大学東京の研究者が、手書きの譜面をスキャンデバイスでなぞっていくことで、リアルタイムに演奏ができるシステムを開発した。

[DIGINFO TV]

　首都大学東京 馬場哲晃助教のグループは、手書きの譜面をスキャンデバイスでなぞっていくことで、リアルタイムに演奏ができるシステムを開発しました。

まずは五線の場所を見て、その後音符の場所を見て、その音符が五線譜のどの位置にあるかというので、音高を判断します。それに加え、ピアノやギターなどの文字をスキャナで直接読むとコンピュータが自動的に文字を認識して、楽器を変更してくれます。また、例えばこの曲の調はCメジャーじゃなくて、Fマイナーだという時には、「Fm」という文字を読むと楽譜にフラットが4つ付くといった機能があります。

　楽譜画像は、OpenCVライブラリと独自アルゴリズムによって解析されています。演奏ラインが音符上にある間、その音程を発音し続け、主に弦楽器の場合は、音を鳴らした後デバイスを上下に動かすことで音程にゆらぎをつけることができます。

　また、音符の大小は音量として扱われ、和音にも対応しています。

元々、楽譜出版社と話してる中でできたアイデアです。楽譜の活用の仕方というのが、譜面台に立てて演奏するくらいしか今まで無かったんですが、楽譜があればリアルタイムに演奏ができたり様々な表情付けが楽譜の上からできるので、例えば小学校や音楽教室で音楽の初学者に向けて、五線譜の学習の敷居が下がると思います。

コンピュータを使って、作曲される方はたくさんいますが、どんな楽曲にしようかとかどんなメロディをつくろうかという創作の初期段階において、紙というのは有効に機能するというのは研究からも分かっていて、そういった部分でこのシステムは作曲支援システムとしても非常に有効だと感じています。