この記事の要約
- 数値評価はプロダクトを前進させる大きな武器である一方、測定ミスや過剰測定が思わぬ副作用を生む危険性がある
- 「測定できるものが重要とは限らない」という姿勢を持ち、質的な情報や文脈を踏まえた指標設計が欠かせない
-
北極星指標を中心とした絞り込んだメトリクス設計と、ユーザーの文脈を読み解く力が成功の鍵
数字の魔力と「測りすぎ」の罠
プロダクトマネージャーとして日々数字を追いかけていると、「数値化できるものこそ真実だ」という感覚に陥りがち。ダッシュボードにはPV、MAU、CVRが並び、スコアカードはグラフで埋め尽くされます。
しかし、メトリクスの背後には必ず人間の行動があり、数字は現実の一側面にすぎません。書籍『測りすぎ – なぜパフォーマンス評価は失敗するのか？』でも、測定ミスや過剰測定、誤解を招く測定が意図せず好ましくない結果を招くと警告されています。
数字が行動を歪めるメカニズム
「目標が指標になると、指標が目標になる（When a measure becomes a target, it ceases to be a good measure）」とよく言われます。Goodhartの法則です。KPIに連動したボーナス制度が導入されると、現場はKPIそのものの達成に集中し、プロダクトの本来の価値提供が後回しにされることがあります。例えば、カスタマーサポートの応答時間短縮を最優先にすると、解決の質よりも処理件数を稼ぐことが目的化しがちです。
「目標が指標になると、指標が目標になる」は Marilyn Strathern (1997) による有名な言い換え。Goodhart 本人（1975）の原文は「統計的規則性は制御目的で圧力がかかると崩壊する」。
医療機関や教育現場でも、数値目標を過度に追い求めた結果、現場が本来の使命を忘れる例が報告されています。レイティングやランキングが公開されることで、見た目の数字を改善するための「ゲーム」が始まり、本質的な成果が置き去りになる。この現象はプロダクト開発でも起こり得えます。
数字が語らない部分 ー 重要なものほど測りにくい
『測りすぎ – なぜパフォーマンス評価は失敗するのか？』では「測定できるものが必ずしも重要とは限らない」と指摘しています。例えばユーザーの満足感や信頼といった要素は定量化しにくいものの、プロダクトにとっては極めて重要です。たとえば、新しい機能をリリースした際にPVが大きく伸びていても、ユーザーインタビューでは「無駄な操作が増えた」と不満が聞こえることがあります。ログでは見えない違和感を拾えるかどうかがPdMの腕の見せ所です。
この辺りは、質的情報/質的データの処理や解釈に強みを持つ文系こそ、数値の陰に隠れた文脈を読み解く役割を担えるのではないか、と僕は考えています。僕自身、文系でマーケ出身として、ユーザーの言葉から仮説を生成し、データで検証する循環を意識しています。
良い測定と悪い測定を見極める
数値評価は本来、現状を把握し改善するための道具です。本書でも測定そのものを否定しているわけではありません。では何が問題なのか。それは、測定がプロダクトのミッションやユーザー価値と切り離され、指標達成が目的化してしまうことです。
良い測定は、ユーザー体験を表す北極星指標(North Star Metric)や、プロダクトのフェーズに応じた重点指標を明確にします。悪い測定は、影響の小さいKPIを羅列し、チームが重要な意思決定に集中できなくするものです。
例えば、開発スピードを上げるためにチームの稼働時間を事細かに計測したところ、開発者が「インタビュー対応」や「研究」の時間を正当化しにくくなり、結果的に品質が落ちる、などが悪いケース。
測りすぎのリスクとチェックリスト
『測りすぎ – なぜパフォーマンス評価は失敗するのか？』の終章では、正しく測定基準を用いるためのチェックリストが提示されています。ここではPdMにとって使いやすい形に言い換えて紹介します。
- 指標の意味を問い直す：なぜその指標を追うのか、ユーザーのどの行動を表しているのか、明確に説明できるか。
- 副作用を想定する：指標にインセンティブを付けることで、どんな不自然な行動が生まれるかを事前に考える。
- 質と量のバランスを見る：定性インタビューやユーザビリティテストなど、数値化しにくい情報を組み合わせて意思決定する。
- 目的に合わせて指標を削ぎ落とす：北極星指標の周りにサポート指標を置きすぎない。不要な数字は思い切って捨てる。
数字を使いこなすために
数字は強力なナビゲーションツールですが、ハンドルを握るのはあくまで僕たちPdMです。『測りすぎ』が示すように、測定ミスや過剰測定は意図せず悪影響をもたらす危険性があります。測
定できるものが重要とは限らず、測定できないものがプロダクトの価値を左右することもある。だからこそ、仮説ドリブンで指標を設計し、質的な洞察と量的なデータを組み合わせるバランス感覚が必要です。
数字を鵜呑みにせず、その背後にいるユーザーの声や文脈を想像する力を磨いていきましょう。それが、メトリクスに支配されるのではなく、メトリクスを活かすPdMへの道だと信じています。
今日から実践できるアクション
- 現在追っているKPIやOKRを棚卸しし、それぞれがユーザーのどんな行動や価値を表しているか一文で説明できるか確認する
- 指標を設定する際に、インセンティブ設計によって起こり得る副作用をチームでブレインストーミングし、リスク軽減策を考える
- 次のリリース前に、ユーザーインタビューやユーザビリティテストを取り入れ、数値化しにくい課題や感情を把握する
Q&A
Q1. 数字を追わないと評価されにくい組織にいます。どうすればいいでしょうか？
A1. 数字そのものを否定する必要はありません。重要なのは、その数字が何を意味しているかを説明できることです。例えばリテンション率が低い場合、ログだけでなくインタビューで分かった理由をセットで共有することで、数字の背景を補足できます。
Q2. 指標を削るのが怖いです。どこまで減らして良いのでしょうか？
A2. 指標は多ければ多いほど安心という幻想がありますが、フォーカスを失います。北極星指標とそれを支える数個のサポート指標に絞り、残りはチェック指標として裏でモニタリングする形にするのがおすすめです。
Q3. 文系出身でデータ分析に自信がありません。
A3. 文系の強みはユーザーの文脈や感情を読み取る力です。そこから仮説を立て、定量データで検証する流れを身に付ければ、分析ツールの扱いそのものは後から学べます。周囲のデータサイエンティストと協働しながら、自分の強みを活かすことが大切です。
参考情報
- 『測りすぎ – なぜパフォーマンス評価は失敗するのか？』本書の要点では、測定ミスや過剰測定、誤解を招く測定が意図せず好ましくない結果を生むと指摘されている:contentReference[oaicite:7]{index=7}。
- 同書では、「測定できるものが必ずしも重要とは限らない」と述べられ、数値評価の限界と健全な活用法が提示されている:contentReference[oaicite:8]{index=8}。
- 書籍の終盤では、測りすぎのリスクを整理し、正しく測定基準を用いるためのチェックリストが紹介されている:contentReference[oaicite:9]{index=9}。
コメント