ピラティスの良さを示す点数を見るとき、採点する人は参加群を知っていたのか。評価者の盲検化を調べた研究から、本人の実感と他人の採点、効果の大きさと測定の確かさを分けて考える。臨床試験全般の数字をピラティス固有の効果と取り違えず、研究紹介で確認したい点を整理する。
「前より動きがきれいになった」。レッスンのあとにそう言われたら、マットを片づける手も少し軽くなる。その言葉はうれしい。ただ、研究でピラティスの良さを確かめる場面では、ほめた人が練習への参加を知っていたかも読みたい。さまざまな臨床分野の患者を対象とした試験を横断した研究では、評価者が受けた介入を知る場合、知らない場合より効果を大きく見積もる傾向が確認されている。18〜39歳の女性のピラティスに、その見積もりの差をそのまま当てはめることはできない。[7]
答えの芯は、点数の上昇だけでなく、誰が何を知って採点したかを見ることである。同じ試験の中に、参加群を知る評価と知らない評価の両方がある研究を集めた解析では、主観的な結果について評価の偏りが示された。ただし、その数字は臨床分野をまたいだ結果であり、ピラティスの効果を一定割合だけ差し引く計算には使えない。[7]
既存記事「マシンピラティスのメリットは全員の結果か、途中で休んだ人も含めて効果を考える」には、誰を集計に含めるかという問いを譲る。ここで追うのは、集計に入った人の結果を誰が判定したのかである。参加者の名簿と採点者の知識は、研究を読む別々の入口になる。
「誰が採点したか」で研究の読み方が変わる
評価者の盲検化とは、結果を評価する人に、参加者がどの介入を受けたかを知らせないことである。反対に、参加群を知ったうえでの採点では、介入に対する期待が評価に入り込む可能性がある。こうした観察者バイアス、つまり観察する側の知識に伴う評価の偏りを、実際の試験の結果で調べたのが研究[7]である。[7]
ここで大切なのは、採点する人の善意を疑う話にしないことだ。「新しい方法を受けた人なら、よくなっているはずだ」という期待が、判断を必要とする評価に影響しうるという問題である。研究[7]も、介入への期待が高い評価者が、介入群の改善を好意的に評価する例を挙げている。誠実さの自己申告より、参加群を知らずに評価できる設計かどうかに注目したい。[7]
日常の指導なら、これまでの練習を知った人からの助言を求める場面がある。一方、研究紹介を読むときには、その助言と、介入の効果を比較するための判定を分けておく。これは読み手としての整理である。「先生が変化に気づいた」という出来事を、そのまま参加群を伏せて行った比較試験と同じ証拠として扱わない、という意味だ。
たとえば研究の紹介文に「動作が改善した」とあったら、その改善は本人の回答なのか、別の人がつけた点数なのかを探す。そのうえで、採点者が参加群を知っていたかを確認する。判断を要する結果では、評価者の知識に伴う偏りが重要になるという研究[7]の結論を、読み方に置き換えるとこうなる。[7]
「評価した」という動詞だけでは、測り方は見えてこない。読者としては、誰が回答し、誰が判定し、どの結果について群を伏せたのかまで文章をほどきたい。何となく厳密そうな肩書きを探すより、評価の流れを追うほうが、紹介文のどの部分を根拠にしてよいか判断しやすい。
疑問の続きは、体で確かめるのがいちばん早い。
同じ試験で採点を比べると、何が見えたか
研究[7]は、さまざまな試験の方法と結果を横断して調べるメタ疫学研究である。含まれたのは、盲検評価を行う場合と行わない場合の小試験へ参加者を割り付けた試験、または同じ結果を盲検・非盲検の両方で評価した試験だった。別々の病院の成績を眺めるだけでなく、同じ試験内にある評価の違いを手がかりにしている。[7]
全体では18の臨床分野の患者に関する66試験、9,451人が対象となった。18〜39歳の女性のピラティスに共通する偏りの大きさを求めた結果ではない。このうち43試験、7,055人を統合した値は、オッズ比の比で0.71、区間は0.55〜0.92だった。オッズ比の比は、ここでは非盲検評価と盲検評価の効果の見積もりを比べる指標であり、1未満なら非盲検評価のほうが介入に有利な見積もりを示す。[7]
著者らは、オッズ比で表した効果が非盲検評価では平均29%大きく見積もられ、その範囲を8〜45%と報告している。これは症状が29%余計によくなったという意味でも、点数に29点を加えたという意味でもない。効果を表す統計的な尺度の上で、評価方法によるずれを表した数字である。[7]
さらに、統合した43試験のうち30試験は主観性の高い結果を評価していた。著者らの結論も、主観的な二値の結果や尺度で測った結果について、非盲検評価者による効果の過大評価を指摘するものだった。どんな測定でも同じだけずれるという話に広げず、判断が関わる評価での問題として受け止める必要がある。[7]
「66試験を集めた」と「43試験を統合した」は両立する。紹介文の本数を読むとき、この違いを落とすと、統合値に全参加者が入ったかのように見えてしまう。全体の規模を知る数字と、ある解析の根拠になった数字は、それぞれの位置に置いて読むものだ。[7]
平均29%をピラティスの点数から引いてはいけない
研究[7]では、薬を使わない介入の試験で、オッズ比の比が0.62、区間は0.46〜0.84だった。著者らは、研究間の違いの一部が非薬物介入でのより大きな影響によって説明されたと報告している。しかし、この分類をそのまま「ピラティスではこの数字になる」と読み替えることはできない。臨床分野をまたぐ分類の結果と、特定の運動の効果は違う問いである。[7]
たとえば、ある教室の紹介で動作の点数が上がったと読んでも、この平均値を使って点数を補正するのは筋が通らない。研究[7]が比べたのは、同じ試験内にある評価方法による効果推定の違いである。目の前の点数に一定の係数を掛ける道具として示されたものではない。[7]
ここは数字が独り歩きしやすい。「評価者を隠していない研究は全部だめ」と切り捨てる読みも、「だいたい差し引けば本当の効果が分かる」とする読みも避けたい。著者らが支持しているのは、可能な限り評価者を盲検化することである。数字を加工する前に、測定をどう設計したかを確認するという方向だ。[7]
この研究では、結果の主観性などの得点と偏りの指標との間に、統計的に有意な関連は確認されなかった。したがって、主観的に見えるから大きく差し引き、客観的に見えるから少なく差し引く、といった読者独自の換算もできない。見た目で補正表を作るより、実際の評価手順を読むほうが研究の結論に沿っている。[7]
研究の数字には、何を比較した数字かという名札がついている。その名札を外し、「ピラティスは本当はどのくらいよいか」の答えに貼り替えてはいけない。今回の中心となる研究は、運動種目の順位表を作ったものではなく、評価する人が介入を知ることの影響を調べたものだからである。[7]
非盲検の評価がどれほど違うかを調べる際には、結果を得られた試験だけに依存しすぎていないかも問題になる。研究[7]では、23試験、割り付けられた2,396人について補完したデータを含める感度分析も行った。感度分析とは、解析に置く条件を変えて結果がどの程度変わるかを確かめる方法である。この分析でも、観察された影響は大きくは変わらなかったと報告されている。[7]
個々のピラティス研究の正しさは、その研究の方法に照らして判断する。条件を変えても全体の傾向が保たれたことと、自分が読んでいる試験の評価が適切かという判断は別である。レビューの結論を知ったあと、個別の研究の測定手順へ戻る。大きな研究を読んだ安心感で、小さな研究の方法を読み飛ばさないための順番だ。
また、偏りを「見た目がよくなったとほめすぎること」だけに狭めないほうがよい。研究[7]は、主観的な二値の結果と、尺度で測る結果を扱っている。二値とは、ある判定に当てはまるか当てはまらないかに分けた結果である。数値の細かな採点でなくても、判定に人の判断が入るなら評価者の情報が問題になりうる、という範囲の研究だった。[7]
読者が研究の紹介を見たときも、「何点上がったか」だけでなく、「改善した人に数える基準は何か」を探す入口になる。ただし、基準を読まずに偏りの方向や大きさを決めることはしない。参加群を知る評価と知らない評価を比較した研究の知見は、疑う相手を決めるためでなく、確かめる手順を具体的にするために使いたい。
数字で読む評価者の盲検化
66試験・9,451人：臨床分野を横断した研究全体の規模である。[7]
43試験・7,055人：オッズ比の比0.71の統合値に対応する規模である。[7]
29%：非盲検評価による、オッズ比で表した効果の平均的な過大評価。ピラティスの改善率ではない。[7]
37試験中10試験：脆弱性骨折後の運動研究で、評価者の盲検化を欠いていた試験である。[20]
9試験・726人：早産児の呼吸補助のレビューに含まれた規模。評価方法を考えるための別領域の例である。[8]
疑問の続きは、体で確かめるのがいちばん早い。
1
2
