本文經授權轉載至此
本文作者：（優活健康網新聞部／綜合整理）/雅文兒童聽語文教基金會 CHF
本文原網址：https://reurl.cc/7zoXk

生活環境充斥著各種訊息刺激，光線透過視覺系統、聲音經由聽覺系統分別使我們產生知覺，由於這兩條通路處理訊息的速度不一定每次都相同，大腦可能會在不同時刻處理同一事件產生的視覺和聽覺訊息。因此在某些情況下，大腦視聽整合的結果會造成我們對視聽訊息錯誤解讀，而產生錯覺。這時眼見為證、耳聽為憑就不一定成立了！

上述提到整合視聽覺的現象，屬於「多重感官整合」的一種，意指來自二種以上的感官訊息交互整合，統一產生一種詮釋。依據Welch及Warren (1980) 提出的「感官適切性假說」（The modality appropriateness hypothesis），人類在處理不同種類訊息刺激所形成的衝突時，會選擇以最敏感的感官來詮釋所接收的訊息刺激。

著名的例子是Shams等人進行的「雙閃爍錯覺」（the double-flash illusion）實驗 (Shams et al., 2000)，當實驗者在電腦螢幕上快速閃過一個光點，並同時播放兩個連續「嗶」聲時，大部分的受試者會傾向認為光點閃了兩次。也就是說，當視聽在同一時間點上（小於100毫秒）的刺激量不同時，聽覺較視覺優勢，會主導整合後的訊息詮釋。反之，當受試者聽到一次聲響、看到兩次光點時，因為一次「嗶」聲不會提供時間上分離的線索，所以主導感官變成了視覺，讓受試者正確地認為光點閃了兩次。這些結果顯示斷續的聲音會幫我們分離事件，進而影響視覺詮釋；但是一個連續的聲音卻沒有辦法整合視覺上斷續的刺激。

除了視聽覺整合產生的錯覺以外，光憑聲音也可能使我們產生錯覺，例如不斷聽到重複的句子，我們聽起來會像是一首歌，因為不斷的重複會讓我們忽略句子的語義，進而將焦點轉移到聲學特徵上，因此聽起來像是歌曲旋律。另外， 我們的大腦在處理語音訊息時，會自動補上遺漏的聲音，完整訊息的語義。因此當實驗者以噪音取代部分語音時，聽者會自動將噪音處補上語音而「聽到」完整的句子。只是有時補上的語音可能與原本被刪除的語音不同，產生誤解，或是變成令人莞爾一笑的奇怪句子。

視聽整合是很自然的機制反應，也是我們認知外界訊息的方式，在你的日常生活中是否也曾遇過視聽整合或因聽覺而產生的錯覺現象？

資料來源
1.Shams, L., Kamitani, Y., & Shimojo, S. (2000). Illusions: What you see is what you hear. Nature, 408(6814), 788-788.
2.Welch, R. B., & Warren, D. H. (1980). Immediate perceptual response to intersensory discrepancy. Psychological bulletin, 88(3), 638.
3.William Knapp(March 26, 2012). Phoneme restoration effect. Retrieved April 26, 2016, from https://www.youtube.com/watch?v=ZyvyGMkzNQc
4.邱壬貞(2015年5月12日)。視聽調色盤：視聽覺整合的奧秘。2016年4月26日，取自：國立台灣大學心理系知覺與注意力實驗室網頁：http://epa.psy.ntu.edu.tw/epa_old2/epa/related_classes/msi_2015.htm#TOP
5.葉素玲(2013)。窺探知覺盛宴的背後–視聽整合：從知覺到感受。心智科學研究，15(1)。2016年4月26日，取自：https://www.most.gov.tw/most/attachments/c1f75c9d-0d38-411c-acc0-e2db0b8d6590

常常漏聽幾個字？立刻預約聽檢