#crossmodal

視聴覚・視触覚・聴触覚の同時性知覚

　クロスモーダルなシステムを設計する際に、利用する感覚間の同時性を考慮することは非常に重要な点です。産総研の藤崎先生は、同期のズレに関して視覚・聴覚・触覚を対象として研究を実施しています。 　紹介する文献では、聴覚と触覚の組み合わせでは、視覚と触覚・視覚と聴覚の組み合わせよりも時間のずれが判りやすいことを明らかにしました。具体的には、視覚と聴覚、視覚と触覚の同期・非同期弁別閾が約4 Hzとなるのに対して、聴覚と触覚の弁別閾が約10 Hzと特異的に高くなることを発見しました。

■ 文献 Fujisaki, W. & Nishida, S. (2009). Audio-tactile superiority over visuo-tactile and audio-visual combinations in the temporal resolution of synchrony perception, Experimental Brain Research, Sep;198(2-3):245-59. Epub 2009 Jun 5. http://link.springer.com/article/10.1007%2Fs00221-009-1870-x

　クロスモーダルの効果を設計する際に、複数の感覚への同時性の設計は重要な指標です。産総研の藤崎先生は検出課題における視聴覚の同時性に関する研究を行っています。

　視覚探索のパラダイムを用いて視聴覚で同期したターゲットの検出課題を行い、視聴覚の同期性が並列的には検出できないことを明らかにしました。このことは視聴覚の同時性判断が、注意資源を必要としない低次の専用メカニズムによってではなく、注意資源を必要とする比較的高次の汎用メカニズムによって行われていることを示唆しています。

■ 文献

Fujisaki, W., Koene, A., Arnold, D.H., Johnston, A. & Nishida, S. (2006). Visual search for a target changing in synchrony with an auditory signal. Proceedings of the Royal Society of London B: Biological Science, 273, 865-874. http://rspb.royalsocietypublishing.org/content/273/1588/865.abstract

■ 参考サイト

“BoobaKiki”. Licensed under CC 表示-継承 3.0 via ウィキメディア・コモンズ.

嗅覚と視覚のクロスモーダルに関する研究をご紹介します。クロスモーダルに関しての研究では、視覚の中でも特に色に関する知見は多いのですが、紹介する論文ではモノの形状に関して調査したものです。 研究ではブーバ・キキ実験を利用した研究が行われました。ブーバ・キキ効果というのは、上図を見せた際に、どちらがブーバで、どちらがキキかと聞くと、「左がキキで、右がブーバだ」と感じる効果のことです。 この現象を利用して、本研究では、匂いの印象と図形の印象を関連付ける実験を行いました。20個の香料に対して、それぞれの印象をブーバ図形を９、キキ図形を１とした９段階評価を実施しました。その結果、ラズベリーとバニラは有意にブーバ図形に関連付けられ、レモンとペッパーは有意にキキに関連付けられました。 このことから、匂いと形状のクロスモダリティが確認されました。これらの知見は、例えばワインや香水など香り産業におけるボトル・ロゴ・ラベルなどのデザインに応用できるものと考えられます。

■ 文献情報

J. Djordjevic らの実験は、小学生が家でも出来る、でも興味深いものです。彼らは、甘味成分を少量溶かした水（砂糖水、正確にはスクロース水）を見分ける実験における、匂いの効果に関して研究を実施しました。

彼らの実験は二つあります。一つは、参加者がイチゴまたはハムの匂いを嗅ぎながら、または想像しながら砂糖水を当てる実験です（被験者間）。もうひとつは、参加者が匂いを嗅ぎながらの時と想像しながらの時で比較するものです（被験者内）。

実験結果は、匂いに依存していました。イチゴの香りにかかわるときにの方が、ハムの香りに関する時より砂糖水を見つけやすくなっています。匂いの想像は、匂いを嗅ぎながらの実験と同じ程度に、味覚に効果を及ぼしました。

■ 文献

東京大学の鳴海らは、視覚と味覚のクロスモダリティを利用した味覚ディスプレイとして、LED光源を用いて飲料の色を変化させることで、飲料を飲む人が感じる味を変化させる手法について検討をおこなった。本発表では,そのような味覚ディスプレイの評価実験と、インタラクションを取り入れることによる応用の可能性について報告がなされている。実験の結果、LED 光源を用いて飲料に色を重畳した場合にも、着色料を用いて飲料に色を付けた際と同程度のクロスモダリティ効果があり、多くの被験者に共通する具体的な味を感じさせることができるという結果が得られた。

■ 文献 鳴海 拓志, 佐藤 宗彦, 谷川 智洋, 廣瀬 通孝：味覚ディスプレイに関する研究 第二報 : 飲料への色の重畳を用いたクロスモーダルな味提示手法の評価,電子情報通信学会技術研究報告. PRMU, パターン認識・メディア理解 109(374), 311-316, 2010-01-14 http://ci.nii.ac.jp/naid/110008002780