エンジニアtype - エンジニアのシゴト人生を考えるWebマガジン
  • TOP
  • キーパーソン
  • 旬ネタ
  • コラボ
  • ノウハウ
  • 女子部
  • キャリア

肢体不自由な奏者と探ったUIの最適解~“目線”で弾くピアノ『Eye Play the Piano』誕生までの5カ月を紐解く

タグ : Eye Play the Piano, FOVE, HMD, 視線追跡 公開

 

肢体不自由の児童生徒が通う筑波大学付属桐が丘特別支援学校で12月17日、終業式を兼ねたクリスマスコンサートが行われた。車椅子に乗った児童生徒らが保護者とともにクリスマスソングを歌うこのコンサートは、同校の冬の恒例行事だ。

だが、今年のそれには例年と大きく違う点があった。

これまでであれば音楽教諭や保護者が伴奏を担当するところ、ピアノを弾いたのは同校2年の沼尻光太くん。脊髄性筋萎縮症により手足を自由に動かすことができないが、今回、“目線”の動きがそれに替わる役割を果たしたのだ。

弊誌スタートアップ連載『NEOジェネ!』で以前紹介した、視線追跡機能を備えた世界初のヘッドマウントディスプレイ(HMD)『FOVE』を活用したシステムにより、まったく新しいユニバーサルな演奏方法『Eye Play the Piano』は実現した。

FOVE代表取締役の小島由香さんは連載取材時にも、『FOVE』の福祉への活用の可能性に言及していた。だが、「そう思い描きつつも、本当にできるのだろうかという思いもあった」と本音を漏らしてもいる。

障害者がピアノを弾くのに最適なUIとは――。一朝一夕には得られない答えにたどり着くのには、ほかならぬ沼尻くんが果たした役割が大きかったのだという。

視線を合わせてまばたきすることでMIDI信号を発信

『Eye Play the Piano』のインターフェース。2段計8個の音符パネルに視線を合わせて、まばたきをすることで音が鳴る仕組みになっている

Eye Play the Piano』のインターフェース。2段計8個の音符パネルに視線を合わせて、まばたきをすることで音が鳴る仕組みになっている

今回披露された『Eye Play the Piano』では、ピアノの鍵盤が、2段計8個の音符パネルという形に再構築されている。『FOVE』の視線追跡機能を使ってユーザーの目線を認識し、ユーザーが音符パネルに視線を合わせてまばたきをすると、パネルごとに決められたMIDI信号が送られ、対応する音がピアノから奏でられる。

頭を下に傾ける動作がペダルを踏む行為に相当し、音を長く伸ばすことも可能。単音モードと和音モードを切り替える(現状は運営側が切り替えているが、将来的には奏者が自分でできるようにする)ことで、幅広い演奏表現を実現した。

年明けをメドに『Kickstarter』で資金調達を行い、2015年夏ごろの製品化という青写真を描いていたFOVEだが、視線追跡機能の付いたHMDという世界初の製品には、既存の市場というものがない。自ら有用な使い道を世間に示して、市場を作り出していく必要があった。

「福祉への活用にはもともと関心があったのですが、友人の紹介で桐が丘特別支援学校とつながることができました。いろいろとお話を聞いていくと、肢体が不自由な子供たちが通う同校では、卒業式や合唱コンクールでも先生がピアノを弾いているということが分かりました。それならば、『FOVE』にできることがあるのではないか、というのが着想です」(小島さん)

プロジェクトが始動したのは、今年7月。FOVEのメンバー3人を含むクリエイティブチームは、同校との二人三脚で開発を進めていった。

肢体不自由の生徒を交えた5カ月にわたるトライアンドエラー

インターフェースの改善には沼尻くん(左)の意見が多く取り入れられているという。右はFOVE代表取締役の小島さん

インターフェースの改善には沼尻くん(左)の意見が多く取り入れられているという。右はFOVE代表取締役の小島さん

しかし、現在のUIにたどり着くには、5カ月にわたって試行錯誤を繰り返さなければならなかった。

福祉関連のアプリ開発に実績があり、今回、プロジェクトに加わって音楽システム開発を手掛けたエイド・ディーシーシーのプロデューサー上條圭太郎氏は、その過程を次のように振り返る。

「最初は円形に配置されていた鍵盤はやがて直線になり、それが2段になりと、紆余曲折を経て今の形になりました。何が最適かを知る上で大きかったのが沼尻くんの存在です。彼の意見を受けて新たな形を考え、開発メンバーで試してみて、良さそうならまた沼尻くんに使ってもらってフィードバックを受ける。毎日誰かしらが学校に通って、そのやり取りを繰り返しました」

17歳の沼尻くんも、忌憚のない意見でこれに応えた。

「最初は(視線追跡の精度という)技術的な問題もあって難しかったけど、ここのところが精度が上がるといいとか、もう少しパネルが大きい方がいいとか意見を言わせてもらって、より使いやすいものにしてもらいました」

最も大きかったブレイクスルーポイントは、音を鳴らすトリガーを、まばたきにしたことだという。

「それまでは目線が通過することで音が鳴る仕組みでしたが、この変更により、格段にリズムが取りやすくなり、ピアノ演奏に最適な形に近づいたと思います」(上條氏)

『Eye Play the Piano』はまったく新しい楽器の発明

沼尻くん(左)の伴奏に合わせて歌う児童生徒ら

沼尻くん(左)の伴奏に合わせて歌う児童生徒ら

多くの障害者に使ってもらうことを想定しつつも、『Eye Play the Piano』は、誰にでもすぐに演奏できるものではない。

だが、それでいいというのが開発・運営チームの考え方。というのも、開発したのはまったく新しい楽器であり、楽器とは本来、たゆまぬ練習を重ねた者だけが使いこなせるものだからだ。

沼尻くんは開発への協力と並行して、この5カ月間ほぼ毎日、演奏の練習を重ねてきたという。「まばたきは普段、意識してするものではないので、リズムよくまばたきできるように練習するのは大変でした」と本人も語っている。

この日のコンサートでは、途中、システムが照明に反応して誤動作するというアクシデントもあったが、無事、「もろびとこぞりて」と「きよしこの夜」の2曲を完奏することができた。

ロック好きで、イギリスのロックバンドOasisの曲も弾けるという沼尻くんは、「テクノロジーのおかげで弾きたい楽器を弾けるようになることで、障害者の表現の可能性は広がると思う。今後はギターやドラムなどのいろいろな楽器に挑戦してみたいし、作曲するのも面白そうと思っています」と夢を語った。

「もっと人を自由に」を現実世界でも

ファンドレイジングサイト『JustGiving』で寄付を募り、全国の特別支援学校に『Eye Play the Piano』システムを提供するプロジェクトもスタートしている

ファンドレイジングサイト『JustGiving』で寄付を募り、全国の特別支援学校に『Eye Play the Piano』システムを提供するプロジェクトもスタートしている

開発チームもまた、この日は「集大成ではなく第一歩」だと考えており、視線追跡の精度を上げてパネルの数を増やすなど、より理想的なインターフェースを目指して開発を進めていく。

同時に、ファンドレイジングサイト『JustGiving』で寄付を募り、全国の特別支援学校に『Eye Play the Piano』システム(『FOVE』本体と専用アプリケーションのセット)を寄贈し、より多くの児童生徒を支援するための取り組みもスタートさせている。

『FOVE』はもともと、現実世界とは異なる3Dの仮想現実の世界において、キーボードやマウスに替わる最適な操作ツールとなるべく開発されてきた。

だが、小島さんが口にする「もっと人を自由にするツールを作っていきたい」という思いは、仮想現実の世界に留まらない。現実の世界においてもそれが可能だということを証明したという意味で、この日のコンサートは開発者本人にとっても大きな一歩となった様子だった。

取材・文・撮影/鈴木陸夫(編集部)




人気のタグ
業界有名人 スタートアップ 開発 SE 転職 エンジニア プログラマー Web スキルアップ ソーシャル アプリ シリコンバレー キャリア プログラミング Android 起業 えふしん スマートフォン アプリ開発 SIer 技術者 UI btrax Webサービス クラウド Apple スペシャリスト CTO Twitter Brandon K. Hill ギーク 英語 村上福之 Facebook Google デザイン IoT SNS ツイキャス 世良耕太 モイめし IT 30代 採用 赤松洋介 コーディング 20代 UX 勉強会 プロジェクトマネジメント Ruby ITイベント Webエンジニア 中島聡 ビッグデータ 法林浩之 ウエアラブル iOS 五十嵐悠紀 LINE ドワンゴ ひがやすを ロボット 受託開発 モノづくり IT業界 コミュニケーション イノベーション ハードウエア MAKERS tips ゲーム 女性 ソーシャルゲーム Webアプリ SI インフラ iPhone 女性技術者 高須正和 マイクロソフト 研究者 UI/UX トヨタ 自動車 ノウハウ チームラボ 息抜き システム ソニー プラットフォーム Java メイカームーブメント オープンソース 和田卓人 エンジン グローバル 開発者 教育 イベント サイバーエージェント ソフトウェア 女子会 コミュニティ メーカー 家入一真 スーパーギーク 増井雄一郎 GitHub 人工知能 IPA 40代 日産 テスト駆動開発 ソフトウエア 音楽 TDD ニュース モバイル PHP TechLION

タグ一覧を見る