金沢大学文学部
異種感覚の情報の統合過程については,生得的か学習されるものかという個体発生の問題が,古くから研修者の興味を集めてきた。本研究では,マガーク効果を含めた視聴覚音声知覚における統合過程の年齢的変化を調べることにより,この問題を考える手がかりを得ることをにした。被験者は,3歳・7歳・11歳・20歳の4群で,各群10人ずつとした。刺激材料は,日本人話者1人が発話した/ba/と/da/で,視聴覚刺激は,もともとの声と映像の一致した組み合わせの他に,/ba/と/da/の間で映像と音声を入れ替えたものを矛盾刺激として作成した。これらクリアな刺激の他に,刺激を劣化させたものも作成した。音の劣化は,カットオフ周波数730kHzのローパスフィルター,映像の劣化は,口の部分へのモザイク効果によった。それぞれ,単一モダリティだけでの正答率が大学生で80%くらいになるような劣化の程度を予備実験によって決定していた。呈示モダリティには音のみ(明瞭およびローパス劣化),映像のみ(明瞭およびモザイク劣化),およびこれらを組み合わせた4通りの視聴覚条件があった。課題は,話者が何と言ったと感じたかを'ba'か'da'の口頭で答えることであった。単一モダリティ条件では,刺激を劣化させない場合,音の聞き取り,読唇とも同定は正確で,年齢差はなかったが,劣化させた場合,聞き取りも読唇も3歳児が他の年齢よりも有意に悪い成績を示した。AV条件では,音がクリアな場合,マガーク効果の大きさに有意な年齢差はなかった。音が劣化している場合,3歳児の反応が他の年齢群と有意に異なり,3歳児は,一致刺激での視覚による促進効果は大人と同じくらい大きかったのに,矛盾刺激でのマガーク効果は他の年齢群よりも有意に小さかった。以上の結果は,AV一致刺激に対する統合が生得的ないしは極めて早い時期に生じるのに対して,マガーク効果のような不一致刺激に対する統合は読唇能力の発達を待って生じる可能性を示唆している。
Inter-sensory integration has been investigated especially in terms of the nature-nurture problem. The present study examined developmental changes in auditory-visual integration in speech perception including the McGurk effect. The McGurk effect is an audiovisual illusion showing that hearing speech is influenced by conflicting visual lip-read information.The subjects Were 3-year-old, 7-year-old, 11-year-old, and 20-year-old native speakers of Japanese. Each age group included 10 subjects. Stimuli were created from/ba/and/da/spoken by a Japanese female talker. Videotaped syllables were edited, resulting in audiovisually conflicting stimuli (audio/ba/, video/da/, and vice versa) as well as audiovisually matching stimuli (audio/ba/, video/ba/). In addition to original intact stimuli, degraded stimuli were prepared. The degraded auditory stimuli were created by lowpass filtering with a cut-off frequency of 730 kHz, the degraded visual stimuli were obtained by mosaic effect at and around the mouth. Based on pilot experiments, the level of the degradation was set so that accuracy of the unimodal performance was about 80% in the 20-year-old. There were several modality conditions : A-only (clear and lowpass), V-only (clear and mosaic), and AV (combinations of the unimodal conditions). The task of the subjects were to report what they perceived by choosing either/ba/or/da/.In the-A- and V-only conditions, clear stimuli were perceived very accurately, showing no age differences. In the AV conditions, the size of the McGurk effect was the same across the age groups when the auditory component was clear. When the auditory component was degraded, the size of the McGurk effect was significantly smaller in the 3-year-old than in the other age groups, although the 3-year-old showed as strong a McGurk effect as the other age groups.These results suggest that the integration for audiovisually conflicting stimuli emerges relatively late, whereas audiovisually matching stimuli are perceptually integrated at a very early stage of life.
研究課題/領域番号:10610070, 研究期間(年度):1998 – 1999
出典：「マルチモーダル音声コミュニケーションの発達」研究成果報告書 課題番号10610070（KAKEN：科学研究費助成事業データベース（国立情報学研究所）） （https://kaken.nii.ac.jp/ja/report/KAKENHI-PROJECT-10610070/106100701999kenkyu_seika_hokoku_gaiyo/）を加工して作成