＜岩井喬のSony CSLレポート＞未来のAV機器にも活かされる!? 幅広い技術研究を体験

Sony CSL（ソニーコンピュータサイエンス研究所）はソニーの研究機関として1988年に創設された。以来19年間、コンピューター分野にとどまらず様々な研究を重ねその成果を同社製品にも活かしてきた。6月8日、研究所を一般開放し、日頃の研究成果を発表する“オープンハウス”が設けられた。前日の7日は社内のみの公開日ということであったが、この日は事前に申し込みのあった一般招待参加者が見学できるようになっており、関連メーカー各社、大学教授や学生たちの姿を多く見かけた。いかにもグローバルな企業らしく、世界各国の研究員がその成果をパネルとデモを使いながら来場者に説明を行っていた。

驚いたのは電気関連分野だけではなく、医療、脳分野、環境とその研究の幅の広さである。AV製品の世界的リーディングカンパニーである同社のラボがここまで多岐に渡って様々な研究を行っているというのはあまり知られていないことであると思うが、こういった研究成果が遠く繋がりが薄いものであると感じられても、製品のユーザーインターフェースの開発のきっかけに結びついたり、暮らしに根付いた製品開発のきっかけを探る手がかりとしては大変有効に作用することであろう。これまでもAIBOのAIなどにSony CSLの技術研究が活かされている。

普段は少人数で落ち着いた空間を活用し研究を行っているであろうラボ内であるが、本日ばかりは大勢の人が集まり、デモによっては常に人が途切れない活況ぶりであった。午前と午後の部に分かれての公開となったのだが、社内公開日も含め、この2日間でオープンハウスに訪れた人数は1500人を超えたとのこと。いかに各方面で注目されている先端研究発表の場であったのかが分かる数値である。


様々な研究発表の中から気になったブースを紹介したいと思う。「システム認知神経科学」と題した研究の発表を行っていたのは脳科学者として著名である茂木健一郎氏だ。昨今は「アハ！体験」ゲームソフトの監修やTV番組の司会などでもお馴染みである。“クオリア”（感覚を特徴付ける質感）を生み出す質感の研究を進めており、東京工業大学の教授としても活躍している。同校の中に設置された茂木研究室ではSony CSLの基盤研究室内脳グループと密接な関係を持ち、ともに研究を重ねているそうである。


1999年にSony CSL内へ設立されたインタラクションラボラトリーはデバイス・ソフトウェア・ネットワークといった技術とシステムサイエンス・デザイン・ライフスタイル研究を含む総合的なアプローチを試みており、オーディオ・ビジュアルの見地からすると、一番ピンと来る研究を行っていると感じた部門である。そのデモの中からもいくつか紹介したい。

まず飛田博章氏がデモを行っていた「ComicVisualization」では、ブログ上のコンテンツを想定し、事前に保存してある画像やテキストを元にして自動的にコマ割りを行ってマンガを作り出すというもの。背景や画像、テキストは別レイヤーとなっており、コマの形状も変えることが可能だ。テキスト内の“！”、“？”、顔文字記号から感情表現を読み取り、集中線などの演出効果も自動的に生成される。

「フラクタルコード：自己相似的ニ次元コード」の研究発表を行っていた綾塚祐二氏のデモでは5層のレイヤー情報が含まれるという二次元コードをカメラで読み取り、その情報を元にして生成されたCG画像をモニターに映し出していた。1998年VAIO-C1に搭載された「CyberCode」技術の延長線上にあるもので、PS3用ソフトとして発売が予定されている「アイ・オブ・ジャッジメント」にもこの技術が生かされている。別ブースではPS3も用いたこのゲームのデモも行われており、カメラに映りこんだ自分の指でCGクリーチャーに触れることができるヴァーチャル体験を楽しむことができた。

イワン・プピレフ氏による「スペシャル・モーメントプロジェクト」研究発表デモではキャンドルに火を灯すと自動的に周囲の音を録音し、火を消すと録音も終了するサウンドデバイスの展示実演を行っていた。このキャンドル台は床に接した面がスピーカーとなっており、録音後スピーカーを上に向けると録音内容が再生される。また、ふくろうと三日月を模したしおり状のデバイスも展示され、本を開くと録音が始まるようになっていた。サウンドアルバムをイメージ、日常に密接しつつも“火を灯す”や“本の読み聞かせ”といった特別な行動がユーザーの状況を認識しデバイスとして機能するのだ。


個人的に最も注目したのは宮島靖氏による「高精度音楽時系列メタデータを利用したリミックスエンジン」「音楽に同期した磁性流体アート」のデモだ。まず「リミックスエンジン」についてであるが、ここでは“MMG”と呼称されている。DJや音楽ツールの発展によって音楽リミックスが一般的になってきたものの、音楽やツールへの専門知識や波形編集など、いまだ敷居の高いことも事実。そこで宮島氏は楽曲をメロディやビートのブロック単位で扱い音楽知識や波形編集の要らないリミックスエンジン、MMGを提案したのだという。

時系列メタデータとして、リッピングなどで手に入れた録音済み楽曲に対し、小節・ビート、コード進行、メロディタイプ（Aメロ、Bメロ、サビなど）、拍子・キーといったデータを位置情報とともに付加。また同時にメタデータオーサリングソフト“MetaPong！”によってテンポの揺れ、転調、拍子の変更がある複雑な曲に対しても信号処理による自動調整と手動による補正によって適切なメタデータ作成ができるようになっているという。こうして作られたメタデータを元にMMG上で自動的に複数の楽曲のビートとキーを合わせてリアルタイムに音楽を合成するのである。その際元の楽曲データが改変されることはなくメタデータに基づいて編集される。いわばDVD-RWなどのVRモードにおけるプレイリスト作成と近い感覚だ。

操作はいたって簡単で、収録しているメタデータの中からコード進行を元にリミックス可能な楽曲候補を自動的に選び出してくれる。メロディブロックなどの単位で次々に曲をつなげていくことができるので、音楽に詳しくなくても候補を色々聴きながら最適なものを見つけられる。合成可能な曲トラック数は現状2つ。これは技術的に増やすことができるが、サウンドが混濁してしまうため少なくしているとのこと。デモの中ではマイケル・ジャクソン「ビリージーン」と三味線で有名な吉田兄弟「じょんがら節」がリミックスされ、その異様でありながらもしっかりビート感が揃ったリミックスに来場者の関心が集まっていた。このように多種多様な楽曲のメタデータとリミックスの情報を“レシピ”として共有し、それに対応したオリジナル楽曲をその場で生成するという手法によって合法的なリミックス共有ができるとしている。例えばネット上にこのレシピだけが列挙され、そのリミックスに使われている曲を持っていなかったとする。聴きたい場合は配信サイトなどからその曲を手に入れれば良いので、興味を持つ人が増えればその時勢のヒット曲だけではないものがこのリミックス効果によって再度陽の目を浴びることになるかもしれない。いわば「Remix2.0」ともいうべき革新的なツールの原型がこのデモンストレーションの中身である。

この時系列メタデータを組み込んだオリジナル楽曲と磁性流体によるアートは電気通信大学の児玉幸子助教授とのコラボレーションで作り上げられたもので、楽曲に付加したメタデータの種類によって電磁石を制御し、まるで流体がダンスをするような動きを作り出しているのだ。宮島氏は個人のバンド活動でベースを担当されているとのことで、音楽に対して非常に深い関心を寄せている。それが故に今後の音楽のあり方を含めて模索した成果が今回のデモとなるわけだ。宮島氏の開発したMMGについては個人的に今後もその動きを追っていきたいと思っている。

様々な研究に目を奪われながらも宮島氏の作り出した新しい音楽創造のスタイルに大変共鳴した今回のオープンハウス・デモンストレーションであった。これからこの中の技術がどのように製品へ生かされていくのかが楽しみである。

（レポート：岩井喬）


岩井喬　Iwai Takashi
1977年・長野県北佐久郡出身。東放学園音響専門学校卒業後、レコーディングスタジオ（アークギャレットスタジオ、サンライズスタジオ）で勤務。その後大手ゲームメーカーでの勤務を経て音響雑誌での執筆を開始。現在でも自主的な録音作業（主にトランスミュージックのマスタリング）に携わる。プロ・民生オーディオ、録音・SR、ゲーム・アニメ製作現場の取材も多数。小学生の頃から始めた電子工作からオーディオへの興味を抱き、管球アンプの自作も始める。 JOURNEY、TOTO、ASIA、Chicago、ビリー・ジョエルといった80年代ロック・ポップスをこよなく愛している。