並列タイトル等Use of lip-read information in speech perception and its relation to second language proficiency
タイトル(掲載誌)平成9(1997)年度 科学研究費補助金 基盤研究(C) 研究成果報告書概要 = 1997 Fiscal Year Final Research Report Summary
一般注記金沢大学文学部
発話中の口の形の映像と、それとは矛盾する音声を組み合わせて作られたビデオを見ると、音声の聞こえが口の形に影響されるという現象がおこる。この現象がマガ-ク効果と呼ばれ、人間が聴覚と視覚情報をいかに統合して音声を知覚するかを調べるパラダイムとして用いられている。先行研究では、日本人ではアメリカ人ほど強い視覚の効果はみられないが、いずれの被験者群でも、母国語の刺激より外国語の刺激に対してマガ-ク効果が強く生じると報告されている。本研究では、このような被験者の言語的要因が視聴覚統合様式に及ぼす影響を検討した。まず実験1で、中国人被験者におけるマガ-ク効果の強さを、日本語刺激と英語刺激を用いて調べたところ、中国人は日本人と同様、アメリカ人よりもマガ-ク効果が生じにくく、聴覚重視の統合様式がうかがわれた。この実験では、日本に滞在している留学生を被験者としていたが、被験者の日本滞在期間とマガ-ク効果の強さとの間に中程度の正の相関が見いだされた。実験2で、母国語の刺激より外国語の刺激に対してマガ-ク効果が強く生じるという「外国語効果」の有無を、中国人被験者と日本人被験者について、中国語刺激と日本語刺激を用いて検討した。その結果、日本人被験者では外国語効果が再現されたが、中国人被験者では中国語刺激と日本語刺激との間に差はみられなかった。実験3では、外国語習得によって音声知覚における視聴覚統合の様式が変化するかどうかを、中国人の留学生46名(23〜35歳)を被験者として検討した。マガ-ク効果の強さと、被験者の年齢、日本に来てからの年数、日本語の習熟度などとの関係を調べたところ、日本語の習熟度と滞日年数がマガ-ク効果の強さと関連をもっていることはうかがわれたが、年齢など他の要因の影響も大きく、剰余変数の統制なしに単純な結論は導けないことが明らかとなった。
The McGurk effect is an audiovisual illusion which shows that visual lip information is integrated with conflicting auditory information during speech perception, demonstrating that speech perception is not a solely auditory process in face-to-face communication, but a multimodal process. Our previous research has shown that the McGurk effect is stronger for auditory speech in foreign languages both in native speakers of Japanese and American English, although the visual effect is weaker for the Japanese than for the Americans. The present study investigated such linguistic factors in audiovisual speech perception.In Experiment 1, native speakers of Chinese were tested with Japanese and English stimuli. The McGurk effect was as weak as for our previously tested Japanese subjects, suggesting an audition-biased manner of processing in the Chinese subjects as well. These subjects, who lived in Japan after finishing college in China, showed a positive correlation between the time they had spent in Japan and the size of the McGurk effect.In Experiment 2, we tested the "foreign language effect hypothesis" that the McGurk effect is stronger for auditory speech in foreign languages, by testing native speakers of Chinese and Japanese with Chinese and Japanese stimuli. The results showed that the hypothesis was true only for the Japanese subjects and that the Chinese subjects did not show any differences between the Japanese and Chinese stimuli.Experiment 3 examined the effect of second language (Japanese) proficiency on the McGurk effect, by testing forty six native speakers of Chinese. The results suggested some evidence for such an effect, but there were extra variables such as age which should be controlled before a definite conclusion.
研究課題/領域番号:08610076, 研究期間(年度):1996 – 1997
出典:研究課題「音声知覚における読唇情報利用度と外国語習熟度の関係」課題番号08610076(KAKEN:科学研究費助成事業データベース(国立情報学研究所)) (https://kaken.nii.ac.jp/ja/report/KAKENHI-PROJECT-08610076/086100761997kenkyu_seika_hokoku_gaiyo/)を加工して作成
一次資料へのリンクURLhttps://kanazawa-u.repo.nii.ac.jp/?action=repository_action_common_download&item_id=59842&item_no=1&attribute_id=26&file_no=1
関連情報https://kaken.nii.ac.jp/search/?qm=70216539
https://kaken.nii.ac.jp/ja/grant/KAKENHI-PROJECT-08610076/
https://kaken.nii.ac.jp/ja/report/KAKENHI-PROJECT-08610076/086100761997kenkyu_seika_hokoku_gaiyo/
連携機関・データベース国立情報学研究所 : 学術機関リポジトリデータベース(IRDB)(機関リポジトリ)