コーヒータイム -Learning Optimism-

本を読むということは、これまで自分のなかになかったものを取りこみ、育ててゆくこと。多読乱読、英語書や中国語書もときどき。

【おすすめ】パフォーマンス評価をうまく使いこなせば改善につながるが、使い方を間違えると機能不全になる〜Jerry Z. Muller 『The Tyranny of Metrics』

 

The Tyranny of Metrics

The Tyranny of Metrics

  • 作者:Muller, Jerry Z.
  • 発売日: 2018/02/06
  • メディア: ハードカバー
 

【読む前と読んだあとで変わったこと】

  • 「測定値」を目標化するとデメリットの方が大きくなることがある。「測定値」をよくすることが目的ではないことを心がけた。
  • 「測る対象」と「本当に知りたいこと」の間にどれくらいの相関関係があるのか、「測定値」はどのようにして得られるのか、はっきり言葉にするようになった。言葉にできなければよく理解していないということなので、さらに調べる。

 

尊敬するブログ「わたしが知らないスゴ本は、きっとあなたが読んでいる」でとりあげられているのを見て、知りたかったテーマであることもあり、即買い。

ミスが全くない仕事を目標にすると、ミスが報告されなくなる『測りすぎ』: わたしが知らないスゴ本は、きっとあなたが読んでいる

 

本書のキモはこの一文にこめられている。

“Not everything that can be counted counts, and not everything that counts can be counted.”

ーー測定できるもののすべてが重要なわけではなく、重要なもののすべてが測定できるわけではない。

本書は『測りすぎーーなぜパフォーマンス評価は失敗するのか?』というタイトルで日本語訳が出ているけれど、著者は「測ること」すべてがダメだと言っているわけではない。パフォーマンス評価が改善につながることも山ほどある。

ただ、測れることと知りたいことの間には差違があり、測ったものを使った管理はときとして意図とは逆の効果をもたらすことをさまざまな研究結果から示し、「だから慎重になりましょう」と言いたいのである。

 

「測ること」について、現在最も熱心に議論されているのは、今年初めに中国・武漢で暴発した新型コロナウイルスの検査であろう。「各国で新型コロナウイルスの確定症例が何例出たか」が、その国家が安全であるかどうかの指標として扱われ、日本の厚生労働省には「なぜ検査対象を限定するのか。確定症例を増やしたくないという政治的判断で国民の生命を危険にさらすのか」という批判が寄せられている。

しかし感染症の専門家たちは、SNSやネットニュースなどで「やみくもに新型コロナウイルス検査をするのは疫学研究以上の意味はなく、むしろ医療現場に悪影響しかない」と主張する。たとえば以下のリンクではおおよそつぎの理由をあげている。

https://www.buzzfeed.com/jp/naokoiwanaga/covid-19-sakamoto

  • 新型コロナウイルス専用の治療法はないので、確定診断してもしなくても医師がすすめる治療法は変わらない。すなわち確定診断しなくても患者に不利益はない。
  • 新型コロナウイルスの検査手法であるPCR法そのものの精度が高くなく、陽性や陰性の結果が出てきてもあてにならない。
  • 新型コロナウイルス感染者の8割は無症状か普通の風邪症状しかなく、自宅療養すれば治るのに、検査で確定診断されれば無症状でも入院させなければならず、本当に入院が必要な患者を押し出してしまう。

これなどはまさに「測りすぎ」が意思決定や行動にデメリットをもたらす例だといえる。

そもそも確定症例をその国家の安全性評価に使うのは妥当なのか? その国家での検査方法や疫病対策まで考えなければならないのではないか? という話も出てくるはずだが、検査方法や疫病対策は残念ながら「測れ」ない。

だから判断対象にしなくていいかといわれれば、もちろんそんなことはない。本書では端的に言い切っている。

There are things that can be measured. There are things that are worth measuring. But what can be measured is not always what is worth measuring; what gets measured may have no relationship to what we really want to know. 
ーー測量できるものがある。測量に値するものがある。だが測量できるものが、必ずしも測量に値するものとは限らない。測量されたものは、ほんとうに知りたいこととはなんの関係もないかもしれない。

 

もともと、さまざまなことを数値化して管理するのは、19世紀後半に教育分野と工業分野で広がった方法らしい。工業分野での数値化管理により、工業に詳しくない「管理職」なるものを生み出した、という指摘は、私には目からウロコだった。

19世紀まで、工場を経営管理していたのは製品を熟知している技術者たちであった。しかし20世紀に入ると徐々に「管理指標」なるものが幅をきかせ、管理指標の専門家が経営陣に加わり、さらには社長をつとめるようになった、という。

ーー今日では「技術畑生え抜きの社長」などという言葉があるくらい、技術担当と経営担当は別々なのがあたり前になったが、それは数値管理により技術知識をもたない経営担当でも現場の状況を把握できる(つもりになる)ようになったから。なるほど納得。

ただし、管理指標の専門家は技術の専門家ではない。だから、数字の良し悪しばかり見て、数字が意味するところを深く考えない。そのため意思決定をまちがえることがある。

著者は医療分野での「再入院者数」を例としてあげている。患者が退院後、再入院することは、「最初に入院したときのケアが足りていなかった」可能性があるとされ、再入院者数を低くすることがよいとされた。

だが、実際に再入院する理由はさまざまだ。たとえば大学病院ではむずかしい病気の患者を数多くひきうけているため、再入院する患者も多くなってしまう。たとえば貧困地域に近い病院では、衛生状態が悪く、患者の多くがそもそも自己管理できないため、退院後すぐに悪化して再入院が必要になる。これらの原因は病院のパフォーマンスとは関係ない。だが「再入院者数」でくくってしまえば、大学病院や貧困地域付近の病院はパフォーマンスが低いと勘違いされてしまう。

著者が言いたいのはこういうことだ。

常に問わなければならない。

目の前にある「測定値」はほんとうに知りたいことを反映しているのか?「測定値」で意思決定するのは正しいか?「測る」ことには時間とお金がかかる。「測る」ことでなにを得て、なにを失うことになるのか?