右脳と左脳の関係を、音のない口の動きと音声付きの映像から考える。視野の端では左脳側の優位が出ても、見つめる中心付近では差が出ない実験がある。顔を左右反転した研究、言葉ではない口の動きとの比較、子どもや難聴のある高齢者の測定を通じ、脳の反応と聞き取りの成績を分けて読む。
同じ口の動きでも、見つめる位置から少し離すと、読み取りの左右差が現れるのはなぜか。音のない発話を読む実験では、映像の内容に加えて、どこに映したかが答えを左右する。この口の動きを言葉の手掛かりとして読む働きには、左脳側の優位が現れる実験がある。ただし、相手の顔が視野のどこに映るかで、左右差の現れ方は変わる。[1][2]
答えの芯は「映像だから右脳、言葉だから左脳」という覚え方では足りない、という点だ。音なしの口の動きを識別する実験では、視野の端に出すと右視野の優位がある一方、見つめる中心の境界に接して出すと左右の優位がなかった。同じ視覚音声でも、提示する場所を変えると結論の形が違う。[2]
さらに、音と映像を一緒に受け取るときには、成績とは別に脳の反応を測る必要がある。難聴のある高齢者を調べた研究では、映像がある条件で脳の音声追跡が強まったが、課題成績には条件間の有意差がなかった。18〜39歳の女性への適用には、年齢と聴力の条件をそろえた検証が必要だ。脳が反応することと、言葉がよく分かることは同じ指標ではない。[6]
音のない口を読む実験は、何を答えさせるのか
視覚音声とは、話す顔や口の動きから得られる発話の手掛かりを指す。音を伴わず、その動きから言葉を読み取る課題が読唇の実験である。ここで扱う研究には、顔を見て誰かを当てる課題ではなく、口がどの音節を発したかを答える課題が含まれる。顔が材料でも、問いは人物の認識ではない。[1][5]
コンピューターで作った現実的な顔を用いた研究では、音なしで子音と母音の組み合わせを示した。候補は4種類で、顔は視野内の5か所のいずれかに現れた。参加者は口の動きから音節を識別し、同時に視線を固定する課題にも取り組んだ。左右の比較を成立させるには、見たい顔へ目を動かしてしまわない工夫が必要だったのである。[5]
この研究は3つの実験から成る。そのうちのある実験では、中心からの隔たりによる成績の違いに加え、小さいながら有意な右視野、すなわち左半球側の優位が見られた。「優位」は、その条件で比較した成績に差があるという意味で読むべきだ。口の映像を左脳だけが受け持つ、という宣言ではない。[5]
意外なのは、言葉を発していない口の動きでも同様の結果が得られたことだ。例として用いられたのはキスの動きである。著者らはこの結果から、左半球の優位は顔の動きから言語的な意味を取り出すことより、動的な視覚情報の処理に基づくと示唆した。左側に有利な結果が出たからといって、その差の正体まで「言語だから」と決まるわけではなかった。[5]
口をすぼめる映像が登場しただけで、実験の意味が変わる。発話の映像だけを見ていれば言語の得意不得意に思える差も、非言語の動きを加えて比べると、動きを処理する働きという説明が候補になる。この研究の面白さは、左か右かの答えより、比較相手を変えて説明を絞ったところにある。[5]
既存記事「右脳と左脳は話す速さをどう扱う？短い音と長い抑揚を拾う時間の窓の違い」には、話す速さと音の時間的な特徴の論点を譲る。ここで追うのは、音を消した口をどこに見せるか、そして音を戻したとき何を測るかである。視線を追う話や道具を使う空間の話とも、答えさせる内容を分けておきたい。
疑問の続きは、体で確かめるのがいちばん早い。
顔を反転すると、左脳の優位も反転するのか
左右差の実験には、脳の左右だけでなく、映っている顔そのものの左右という条件もある。話す人の顔をそのまま見せたときの結果が、顔を鏡映した映像でも続くか。顔の片側だけを複製して左右対称にしたらどうなるか。この違いを組み込んだのが、顔の半分の寄与を調べた実験である。[1]
研究者は通常の顔、通常の顔を左右反転したもの、左半分を複製して作る対称な顔、右半分を複製して作る対称な顔を用意した。見つめる位置は自動の視線追跡で厳密に管理し、左右の半球への提示を比べた。日常の会話を丸ごと再現するより、顔に含まれる情報と左右差の関係を切り分ける設計だ。[1]
通常の顔と左右反転した顔では、同じようにはっきりした左半球の優位が見られた。右半分を複製した顔では左半球の優位がさらに大きく、左半分を複製した顔では半球間の差がなかった。単に顔を鏡映したから優位な半球が入れ替わる、という結果ではない。[1]
とくに、左半球側での知覚は右半顔の情報の有無に大きく影響されたのに対し、右半球側での知覚は半顔の内容を変えても影響されなかった。著者らは、視覚音声の優勢な処理が左半球にあり、その処理は右半顔の情報に特有の感受性を持つと解釈した。ここは著者の結論として受け止めつつ、左右対称に加工した刺激を含む実験の話として読む。[1]
この「顔の右半分」と「右視野」は混ぜない方がよい。顔のどちら側の情報を使って作った映像かが前者であり、見つめている位置に対して映像をどちらに置くかが後者だ。実験では、顔の内容と投影先を別々の条件として扱っている。右という字が付く情報を一つの箱に入れると、何を変えて差が出たのかが分からなくなる。[1][2]
例えば、自分の動画を左右反転して見ても、この研究の比較をそのまま行ったことにはならない。研究では反転だけでなく、半顔を複製した刺激と視線の管理を組み合わせていた。鏡に映る自分の口を見ながら得意な半球を探すより、どの条件がそろったときの結論なのかを確認する方が、研究の読み方として筋が通る。[1]
見つめる中心と視野の端では、結果が違う
別の実験では、顔の半分を使った対応する映像を、中央の注視点の左または右に提示した。一方の条件では映像を中心の境界にぴったり接して置き、もう一方では中心から離れた場所に置いた。視線に応じて提示を制御する自動の眼球追跡手続きを使い、実際にどこを見ているかを管理した。[2]
中心から離れた場所での結果は、明瞭な右視野の優位だった。著者らは、中心外に見える視覚音声は、左半球の処理への片側性の投射によって利点を得るようだと述べている。これは音のない口の動きの読み取りで左側の優位を示す、顔の反転実験とも方向の合う結果である。[1][2]
ところが、中心の境界に接して提示した条件では、右にも左にも視野の優位はなかった。著者らは、注視点の周囲で視覚音声を見る場合に、機能的な分割があるという証拠は得られなかったと結論した。周辺で差があった結果だけを採用して「口は左脳が読む」と覚えると、同じ研究のもう一方の結果が抜け落ちる。[2]
一方で、中心で差が出ないから左右の半球は関係ない、と片付けるのも早い。ここで差がなかったのは、中心の境界に接した映像を使う条件での視野の比較である。中心外の条件では差があった。左右差があるかないかを二者択一の見出しに押し込むより、どこに置いた映像を比べたかまでを一緒に答えにする必要がある。[2]
日常の画面を思い浮かべるなら、話す顔を見つめる場面と、別の場所を見たまま端に映る口を見る場面を区別すると分かりやすい。ただし、実験の注視条件を普段の画面の配置に置き換えて、右に動画を置けば聞き取りが良くなるとまでは言えない。中心外の音なし識別と、音声付きで内容を理解することは別の課題だからだ。[2][6]
この違いを覚えるなら、脳の左右に性格の札を貼る代わりに、研究の絵を描くとよい。真ん中に視線の印、その左右に口の映像を置く。映像が印に接している図と、離れている図を分ける。同じ顔の映像でも提示位置によって比較の結果が変わる、という実験の構造が残る。[2]
ここでの比較の単位は、口の動きからどの刺激かを識別した成績である。中心付近で左右差がないという結果は、口の情報が役に立たないという意味でも、映像をすべて正しく読めたという意味でもない。左右の優劣についての結果と、課題そのものの難しさを分けると、「差なし」という短い報告を過大にも過小にも読まずに済む。[2]
数字で読む口の動きと脳の左右
3つの実験：コンピューターの顔を使い、音なしの視覚音声の左右差を調べた研究の構成である。[5]
4種類の音節：同研究で識別の対象にした子音と母音の組み合わせ。自由な会話の聞き取りとは課題が違う。[5]
5か所の提示位置：口の動きだけでなく、視野のどこに顔を置くかを変えた。[5]
7〜8歳と10〜11歳：成人とともに、音声と映像への脳の反応を比較した子どもの年齢群である。[3]
67人：雑音下での音声理解と映像の関係を調べた、難聴のある高齢者の人数。一般の成人全体の代表ではない。[6]
疑問の続きは、体で確かめるのがいちばん早い。
1
2
