初心者向けヨガ動画で白い服に字幕が溶けるとき、文字があることと、その説明を読めたことは同じか。授業動画の視線、ニュースの2倍速、ばらした字幕、冊子の小さい文字、否定的な字幕、自動字幕の意味のずれから、読み取りの条件を分ける。服の明るさも一緒に見る。
マットを敷いたのに、最初の説明で再生を止める。初心者向けのヨガ動画だ。先生は白い服で、胸の位置に白い字が乗る。一時停止しても、説明は生地の明るさへ帰っていく。文字がある画面と、説明を読めた画面は、見た目がほとんど同じだ。
答えの芯は、字幕が付いていることと、その文字を説明として読めたことは別だ、という一点にある。英語で授業を受けてきたヒンディー語話者が授業動画を見た視線の実験では、字幕の言語の組み合わせで、顔と字幕の見ている時間が変わった。理解の点数に有意な差はなかった。[1] 別の実験では、ニュースを2倍速にすると、画面の下の字幕への注意の取り方が変わり、記憶は悪く、分かったという評価も下がった。[2]
公開済みの「ヨガ初心者は字幕と実演を同時に見るべき？アプリの文字と動作の記憶を読む」には、字幕と実演を同時に見る負担と、動作の記憶を譲る。服の色で手足の輪郭を見失わない話は「ダイエットの筋トレ動画は背景と服の色も確認、手足の輪郭を見失わない選び方」に譲る。見本の布が関節を隠して動きを覚える問いも、ここでは扱わない。残すのは、文字が背景から分かれるか、文として通るか、言葉の中身が受け取りを変えるかである。
字幕があるだけで、視線は文字に寄らない
字幕は、理解に不要でも視線を引きやすい、と言われることがある。ただし、引きやすさがいつでも同じ強さだとは、この実験は示していない。対象は、ヒンディー語を母語とし、英語で授業を受けてきた人である。見たのは授業の動画で、三つの組み合わせがあった。英語の音声に英語の字幕、ヒンディー語の音声にヒンディー語の字幕、英語の音声にヒンディー語の字幕、である。[1]
英語の音声と英語の字幕では、話し手の顔と字幕へ、視線が同じように配られた。一方、ヒンディー語の字幕が付いた二つの形では、字幕より話し手の顔に、視線が留まっていた時間が長かった。理解の点数は、条件のあいだで有意には違わなかった。[1] 文字が画面にあることと、視線がその文字に滞在することは、同じ現象ではない。
研究者は、字幕への関わりは字幕があるだけで決まらず、書かれた情報の性質と、その文字が役に立つと感じられるかによっても変わる、と見ている。多言語の授業という設定で、字幕への関わりがいつでも自動だ、という見方には注意を促している。[1] 白い服の上で字が溶ける夜にこの結果を置くなら、先に疑うのは自分の集中力より、文字が「読む対象」として立っているかどうかだ。溶けた字は、役に立つ書字チャンネルになっていない。
ここでの理解は、授業動画の内容を問う点数である。ポーズをまねた正確さではない。[1] だから、顔をよく見た条件の理解が落ちなかったことを、「字幕を無視してもヨガは同じように上達する」へ広げない。言えるのは、この参加者たちでは、字幕を見る時間の配分が違っても、測った理解の点数は有意には動かなかった、ということまでだ。
疑問の続きは、体で確かめるのがいちばん早い。
二倍速は、下の字幕と記憶を同時に守らない
初心者向けの動画は、動きがゆっくりに見える日がある。待ちきれず、再生を2倍にする。字は下の帯になり、次の行へ逃げる。その操作が、説明の受け取りとどう一緒に動くか。近い材料は、テレビのニュースを通常速度と2倍速で見せた実験で、参加者は合計146人である。[2]
2倍速では、快さの評価、分かったという感覚、信頼の評価、記憶の成績、人に勧めたいという意向が、いずれも低かった。逆に、覚醒の評価は2倍速の方が高かった。[2] 目が冴えた感じと、内容が残った感じは、この実験では同じ方向に動いていない。速くした夜に「頭は働いている」と思っても、記憶の成績まで上がったことにはならない。
視線の測り方でも、条件の差があった。注視の振る舞いと、画面の下三分の一に出る字幕への注意の配分が、通常速度と2倍速で違った。ただし注視の回数の差は、刺激が速くなったことで注視の判定そのものが影響を受けた可能性がある、と著者は慎重に読んでいる。下の字幕へ注意が向いたパターンの違いまで、その注意書きで消えるわけではない。[2]
調べたのはニュースの視聴であり、ヨガのポーズの再現ではない。[2] 2倍速で記憶が悪かったことを、マットの上の一回の成功へ直接は移さない。移してよいのは、操作の意味の切り分けだ。速度を上げると、分かった感覚と記憶と、下の字幕への注意が、まとめて同じままではなかった。ヨガの動画で下に出る説明も、速度を上げた瞬間に「同じ説明のまま速く届く」とは扱わない方が、この結果には近い。
覚醒だけが高い、というずれも残しておく。2倍速は退屈を減らしたように感じても、信頼や勧めたい気持ちは下がっていた。[2] 夜11時に速度を上げて最後まで見終えた達成と、説明を人に言い直せる状態は、別の欄に書く。見終えた本数を、読めた行数で代用しない。
説明の文がばらけると、見る負担の質が変わる
自動字幕は、文の途中で切れる。ポーズの名前が二行に割れ、上が服に溶け、下だけが床の色の上に残る。残った断片を、説明として信じてしまう。文が通る字幕と、ばらした字幕では、見ているときの脳の結びつきが違う、という映画の実験がある。[3]
参加者は、外国語の映画を見た。英語の字幕がそのまま通る条件と、字幕をばらして物語として理解できなくした条件を比べている。聞こえる音と見える映像は保ったまま、書かれた物語だけを崩している。脳全体の機能的な結びつきをパターンとして見ると、腹内側前頭前野、後帯状皮質、外側の前頭前野、右の角回で、条件の差があった。これらの領域は、特に課題を与えなくても働きやすいネットワークと、注意の制御に関わるネットワークにまたがる。[3]
物語が通る字幕では、腹内側前頭前野と後帯状皮質が、側頭部の外側や前頭頭頂の領域と、より強く結び付いた。意味と文脈をまとめる働きと合う、と著者は見ている。物語が通らない字幕では、前者のネットワークと注意のネットワークの結びつきが強くなり、認知的な要求が高い状態と合う、とされている。[3] 同じ「字幕が出ている」でも、文が通るかで、見る側の負担の質が変わった。
さらに、通らない字幕では腹内側前頭前野と後帯状皮質の結びつきが強く、通る字幕では後帯状皮質と楔前部の結びつきが強かった。一つのネットワークの中でも、結び方は一種類ではなかった。[3] この実験はヨガの指示文をばらした試験ではない。それでも、音と映像を残して文字の物語だけを崩す、という分け方は、自動字幕の事故に似た構造を持っている。画面の先生は動いている。声も続いている。文字だけが説明になっていない。
通らない文字のときに要求が上がることと、その要求の分だけ動きが上手くなることは、別である。[3] 断片を頑張って読んだ夜を、集中の証拠にはしない。見るなら、その行が文として閉じているかどうかだ。
数字で読む字幕と説明の受け取り
146人：テレビのニュースを通常速度か2倍速で見た実験の、参加者の合計である。[2]
2倍：加速した再生の条件である。覚醒の評価は高く、記憶と分かった感覚と信頼の評価は低かった。[2]
59人：中学1年の二つの学級で英語の聞き取りを比べた人数である。物語などを見た学級が30人、教科書の音声の学級が29人。[4]
8週：ナレーション付きの物語に、字幕と映像と効果音を足した授業の期間である。[4]
103人：見える違いのある人の画像と、字幕の条件を比べた試験の大人の参加者数である。[10]
10.8パーセント：放射線治療の説明冊子について、量的な分析に使えたアンケートの回収率である。[8]
疑問の続きは、体で確かめるのがいちばん早い。
1
2
