インタビュー、SQLなどでの内部ログ分析に加えて、アンケート調査を実施したことがあるプロダクトマネージャーの方も多いと思います。アンケートを活用した定量調査は、幅広いユーザーの全体傾向を把握するために欠かせない手法ですよね。
一方で、アンケート設計を誤ると大きな落とし穴にはまります。わかりやすいもので言えば回収するセグメントのミスや、質問構成の順番、バイアスにまみれの質問設計などです。
バイアスまみれの結果、行き詰まる施策
せっかくアンケートを実施しても、結果にバイアスが含まれると判断を誤ります。たとえば「社会的望ましさバイアス」によって、ユーザーが実際の行動や意見と異なる“体裁の良い”回答をしてしまう場合があります。それを真に受けて施策を立てると、期待と現実が大きくズレてしまい、プロダクトの成長が滞る結果を招きます。
例えばリリースした新機能の評価をアンケートでとったとき、「使ってみたい」「便利そう」といった回答が多いけど、実際に蓋を開けてみると利用率はごく僅か、など。ユーザーが社会的望ましさを意識して肯定的な回答をしていた可能性があります。こうしたバイアスへの対策は、アンケート設計の段階から考慮しないと手遅れになることが多いです。バイアスをどう取り除くかについては、バイアスを徹底攻略の記事も併せて参考にしてみてください。
ユーザーインタビュー派のPMでも定量が必要な理由
僕は個人的にユーザーインタビュー（定性調査）をとても重視しています。ただ、インタビューは数十名、多くても数百名レベルの参加者にとどまるため、全体像や傾向を把握するには限界があるのも事実です。そこを補完してくれるのが定量調査のアンケートです。
インタビューで得た“深いインサイト”を検証するために、多数のユーザーからアンケートを回収し、共通する意識や行動パターンを洗い出す。定性と定量を組み合わせることで、施策が狙っている方向性に自信を持てるようになります。特にユーザー規模が多いBtoCサービスや、複数の利害関係者が絡むBtoBのプロダクトでは、定量調査は欠かせない武器です。
サンプル数と母集団設定
統計的信頼性を担保するには、サンプル数が重要です。ただ「何人に聞けばよいのか」という問いに対しては、サービスのユーザー数や目的によって変動します。統計的な一般化を狙うなら、母集団のサイズに応じて「標本サイズの計算式」を使うのが一般的です。例えば、母集団が1万人規模の場合、誤差の許容範囲（たとえば±5%）と信頼水準（たとえば95%）を設定してサンプル数を割り出します。
こうした計算式は「サンプリング理論」に基づきますが、実務ではそこまで厳密に計算できないケースが大半かもしれません。最低限、誤差が大きくなりすぎない程度のサンプル数を確保しつつ、アンケート配信対象をできるだけ母集団に近い構成比で選ぶことが大切です。これはサービス内でユーザー層に偏りがある場合や、部署・役職で利用方法が異なるBtoBのケースで特に重要になります。
どれだけの回答を集めれば統計的に信頼できるか
理想を言えば、統計ソフトやエクセルの機能などで「必要サンプルサイズ」を算出してからアンケートを実施するのが望ましいです。一般的に、誤差5%・信頼度95%を想定すると、母集団が1,000人程度なら約278人程度、母集団が10,000人なら約370人程度が必要という例もよく挙げられます。これはあくまで目安ですが、回答数が100を下回るレベルで大きな結論を出すのは危険です。
もし回答が集まりづらい場合は、インセンティブの設定を見直す、メール配信回数を調整するなどの工夫が必要になります。また、サンプル数を増やすだけが目的になってしまい、重複回答や質の悪い回答が増えないように注意しましょう。自動チェック機能を用いる、回答時間の異常値を排除するなどのテクニックが有効です。
BtoBとBtoCで考慮する要素
BtoCのプロダクトでは、ユーザー数が多い分、全体像をとらえやすい反面、多種多様なユーザーが存在するため「セグメント別の差異」をしっかり見る必要があります。たとえば20代男性と30代女性でニーズが全然異なるケースは珍しくありません。
一方、BtoB領域ではユーザー数が限られたり、1社あたりのアカウント数もそこまで多くないことがあり、サンプルを集めづらいという特徴があります。加えて、導入企業の業種や従業員規模、使用目的などが大きく異なるため、構造が複雑化しやすいです。僕もBtoB商材でアンケートを実施した経験がありますが、回答者の役職や意思決定プロセスが絡むため一筋縄ではいきません。BtoB特有のリサーチの難しさは、BtoB領域のユーザーインタビューの難しさや実施方法でも詳しく解説しています。そこも参考に設計を進めてください。
設問構成とアンケートの流れ
アンケートの設問構成を考える際、もっとも避けたいのは「回答誘導」です。あえて分かりやすく例を挙げると、「この機能を使ってみたいと思いませんか？」というような、肯定的/否定的回答を引き出しやすい質問は要注意です。中立的立場を維持できる質問文の書き方を意識すると同時に、論理的な順序でユーザーが回答しやすいように設計することが大切です。
最初にユーザー属性（年齢、業種など）を確認し、その後に製品やサービスの利用状況、さらに意見や要望といった流れがオーソドックスです。回答者が回答に負担を感じず、自然に答えやすい順番にすることで、離脱率を下げる効果も期待できます。設問数もやみくもに多くするのではなく、目的に合った質問に絞ることが重要です。
誘導的質問を避ける方法
誘導的質問や曖昧な質問を排除する方法としては、事前に第三者に見てもらう、あるいはテスト回答を行ってもらうやり方が効果的です。僕もリサーチの際に、チームメンバーや実際のユーザーに試しに答えてもらうことで「こういう風に読まれるのか」と気づくことがよくあります。アンケートの設問案は常に「ユーザーがどう理解するか」を客観的にチェックし、誘導を極力避けましょう。
また、アンケート結果の歪みは質問文だけでなく、アンケートの冒頭文や選択肢の配置方法からも生じます。望ましい回答方向に誘導するような言い回しや、選択肢の順序が変則的になっている場合には要注意です。こういったバイアスの詳細は、前述のバイアスを徹底攻略にも記載していますので、設問だけでなく全体フローも見直すとよいでしょう。
分析フローと施策への落とし込み
アンケートを実施したら、まずは単純集計で全体傾向をざっと把握します。その後、特定の条件（年齢層や導入フェーズなど）ごとの傾向を見るクロス集計を行い、さらに回答同士にどのような相関があるかを探る相関分析に進みます。重要なのは、分析段階の各ステップで「仮説を再検証する」という視点を忘れないことです。
例えば「新機能に興味を示すのは若年層だけではないか？」といった仮説があれば、年齢ごとのクロス集計でその真偽を確かめる。相関分析では「利用頻度が高い層は、◯◯機能への評価が高い」などの関係性を導き出す。このように、多面的に結果をチェックして初めて施策の打ち手が具体化します。
単純集計→クロス集計→相関分析→施策立案
単純集計では、回答数や各選択肢の割合がどのように分布しているかを確認します。ここでおおまかな傾向をつかみ、想定外の偏りがないかをチェックします。次に、クロス集計でセグメントごとの違いを明らかにし、さらに重要そうな項目同士の相関分析を行います。相関係数が高ければ何らかの関係があると仮定し、そこから施策を導き出していく流れです。
この際、アンケートだけの情報に頼らず、ログ分析と突き合わせることでユーザーの行動実態をより深く理解することができます。たとえば「アンケートでは『機能をほとんど使わない』と回答しているが、実はログを見ると特定の時間帯だけ頻繁に使っている」など、定量同士の矛盾が見つかるケースがあります。そうした不整合を捉えたら、さらに掘り下げのためのインタビューを行うのも有効です。ログと定性調査を組み合わせる手法は、ログ分析→ユーザーインタビューの流れで、「本当に解くべき課題」を明確にするの記事も参考になると思います。
ログとの付き合わせでユーザー実態を深掘り
アンケート結果だけでは全貌を把握しきれないことが多々あります。回答者自身が「意識していない」行動パターンがログにはっきり映し出されていることも少なくありません。たとえば、ユーザーは「気に入ったので毎日使っている」と回答したにもかかわらず、実際のアクセスログでは週1～2回しかアクセスしていない、というケースもあります。
こうした矛盾を発見したら、インタビューや観察調査を追加で行い「なぜユーザーがそう回答したのか」「どのような背景があるのか」を解き明かすことが肝です。定量データを補完・裏づけする定性調査のステップを組み合わせれば、施策の精度が格段に上がります。もし定量と定性が食い違う場合の対処法については、定量データとユーザーインタビューが食い違うとき、どう再設計するか？ もご覧ください。
今日から実践できるアクション
- 目的を明確化したうえでアンケート設問のドラフトを作成し、チームメンバーや実際のユーザーにテスト回答を依頼する。
- 必要サンプルサイズをざっくり計算し、回答が足りない場合は配信チャネルの拡大やインセンティブの再検討を行う。
- クロス集計や相関分析の前に、単純集計で全体像を把握し、想定外の傾向がないかチェックする。
- 分析結果をログデータと付き合わせて整合性を確認し、矛盾が見つかったらインタビューで深掘りする。
Q&A
Q1：アンケートで回答率を上げる方法はありますか？
A：回答が簡単にできるデザイン（スマホ最適化など）を行うこと、回答時間が短そうだと感じさせる工夫、回答者にとって魅力的なインセンティブを用意するなどが効果的です。メール配信ならリマインドを適切なタイミングで行うことも重要です。
Q2：BtoBプロダクトのアンケートは本当に有効なのでしょうか？
A：有効です。ただし、導入企業ごとにニーズが異なるため、一度に大人数から集めるのではなく、特定の業種や利用度合いに絞ったアンケートを複数回実施するなど、複層的なアプローチが必要です。BtoB領域のユーザーインタビューを組み合わせるとより効果が高まります。
Q3：アンケート結果とログ、定性インタビューが食い違うときはどう判断すればいいですか？
A：それぞれのデータには特性やバイアスがあるため、食い違いがあれば深掘りのチャンスと考えましょう。追加のインタビューや観察調査を実施し、仮説を再検証してみるのがおすすめです。詳しくは定量データとユーザーインタビューが食い違うとき、どう再設計するか？の記事も参考になります。
参考情報
- 総務省統計局「統計学的手法によるサンプリング調査」
- Fink, A. (2019). Conducting Research Literature Reviews: From the Internet to Paper. SAGE Publications.
- Stanley, S. (2007). Methods in Behavioral Research. McGraw Hill.
- PM x LLM STUDIO内関連記事：バイアスを徹底攻略
- PM x LLM STUDIO内関連記事：BtoB領域のユーザーインタビューの難しさや実施方法
- PM x LLM STUDIO内関連記事：ログ分析→ユーザーインタビューの流れで、「本当に解くべき課題」を明確にする
- PM x LLM STUDIO内関連記事：定量データとユーザーインタビューが食い違うとき、どう再設計するか？
コメント