コラム

集計の仕事|細かい作業を「丁寧&正確に」が鉄則、信頼性を担保するランキング作り

 設計担当から調査データが納品されたら、集計の仕事が始まります。集計の仕事は、アンケート回答者(消費者)のデータから各企業のサービスの満足度得点を算出し、ランキングを作成することです。私たちは第三の中立的な立場で、消費者と企業をつなぐ顧客満足度ランキングを作成しているので正確さが求められ、1つずつ丁寧に手順を踏んで仕事をしています。そんな集計の仕事内容について、集計ユニットの大澤里奈がご説明します。

集計ユニット 大澤里奈

集計ユニット 大澤里奈

1.データクリーニングのための「コメントチェック」

 集計担当がまず行うのが、「コメントチェック」です。設計担当から納品される調査データは、ローデータと言って、何も手の加わっていない未加工のデータです。なぜ最初にコメントをチェックするかというと、調査対象としてそぐわない回答(=回答者)がないかを確認し、不良回答についてはランキング集計を行う前にあらかじめ排除するためです。このことを「データクリーニング」と言います。

 これまで、「企画の仕事」「調査設計の仕事」でお伝えしてきたように、オリコン顧客満足度調査は実際のサービス・商品の利用者で、さらにこちらが設定する定義・条件をクリアした人のみを対象にアンケート調査を行っています。調査を行う段階で細心の注意を払っていても、回答者自身が「自分はこの調査の対象者として該当している」と思えばアンケートに参加できてしまうので、まれに不良回答が紛れているケースがあります。データクリーニングは、信頼性の高いランキングを作るためにとても重要なプロセスです。

「コメントチェック」の実作業はというと、全ランキングで聴取している「サービスを利用して『良かった点』、『悪かった点』、『サービスを友人・知人にお薦めしたい・したくない理由』」という3つの質問について、全回答者分のフリーコメント(自由記述)を読みます。そして、文章から「この人、本当はサービスを受けていないな…」という矛盾回答を見つけたら、その回答者を除外していきます。

 ランキングのジャンルによっては1万件以上の回答者がいる調査があり、1万件×3つの質問のフリーコメント=計3万件のコメントを読むので、コメントチェックが終わる頃には疲労困憊…ということもあります。一方、「ハウスウエディング」などのウエディング系ランキングのコメントには、回答者の結婚式の様子が書かれていることもあり、読んでいくうちにこちらにも幸せな状況が伝わり、その日はHAPPYな気持ちで仕事が進められます!

 現在のチェック体制は、【1】企画担当→【2】集計担当→【3】(再び)企画担当の3ステップで行い、慎重に除外すべき不良回答者を見極めています。

2.ランキング作成の指示書「マージ資料」 を作る!

 次に、集計の肝となる「マージ資料」を作成します。マージとは統合(merge)を意味する言葉で、オリコン顧客満足度調査では、調査データの統合指示を記載した資料のことを「マージ資料」と呼んでいます。マージ資料には主に2つの役割があります。

【1】調査データを統合する指示書
オリコン顧客満足度調査では、最大3年分の調査データを使用してランキングを作成しています。同じ設問内容でも調査年ごとに設問番号や選択肢番号が異なる場合があるので、1つのコードに統合する必要があります。複数年調査の場合、マージ資料を元に各年のローデータを1つのファイルに統合します。

実際に作成したハウスウエディングの企業名統合。2020年の設問番号と選択肢番号を基準にして各年の番号を合わせます。

実際に作成したハウスウエディングの企業名統合。2020年の設問番号と選択肢番号を基準にして各年の番号を合わせます。

【2】ランキング作成の指示書
 マージ資料には、ランキングを作成する上で使用する設問や選択肢を記載して、ランキングの構成を指示する役割もあります。

 もしも、マージ資料に誤りがあったりすると、間違ったランキングを公開することになってしまうので、企画・設計の各担当者に確認してもらいながら慎重に作成していきます。

3.いよいよ「ランキング作成」、オリコン顧客満足度ランキングの集計方法とは?

 データの統合が完了したら、集計作業を行い、ランキングを作成します。集計・ランキングの作成フローは、大きく分類すると以下ように7つの工程に分けられます(これらの作成フローには、オリコン顧客満足度ランキング独自の計算手法が多く含まれているため、抽象的な表現となっています)。

 1つひとつの工程を説明していきます…と言いたいところですが、専門的な手法や用語が多く登場し、細かく説明すると複雑でわかりづらくなってしまうため、ここではポイントを紹介したいと思います。

 オリコン顧客満足度の総合ランキングは、いくつかの評価項目をもとに成り立っています。たとえば、カフェランキングは、「店内の快適さ」「メニューの充実さ」「提供スピード」「商品のおいしさ」「商品の見た目」「店員の接客力」「コストパフォーマンス」「利用のしやすさ」というように、全8つの評価項目があります。その評価項目は、付随するいくつかの小項目から形成されていて、カフェランキングの場合、全25の小項目から結果が導き出されています。【2】の「項目合算」の工程では、項目ごとに小項目の平均点を出すなど、細かい計算作業を行います。

 オリコン顧客満足度ランキングは、 サービスの利用者が真に求める点(評価項目)について重み付けをしています。【4】の「重要度(比重値)の設定」では、影響力が強い評価項目に重み付けをすることで、重要度が高い評価項目の得点が高ければ高いほど、総合満足度の得点も上がるという仕組みです。

【6】の工程で、いよいよ「ランキング作成」。 オリコン顧客満足度ランキングには、いくつかの評価項目からなる「総合ランキング」と「部門別ランキング」があります。総合ランキングは、各ランキングの規定回答者数以上かつ総合満足度得点が60点以上の企業を、得点が高い順に並べることで作成。部門別ランキングは、設問や企業から設定した条件にあてはまる回答者のみで作成します。

 ランキングが作成された後も、作業は続きます。ランキング結果が間違っていないか、集計ユニットの他のメンバーに確認をしてもらうのですが、これが【7】の「検算」です。数字が正しいものと確認できたら、企画、調査設計の各担当者にランキング結果を共有。結果に違和感がないか等の確認を終えたら、ようやくランキングが完成します。

4.あの企業はなぜ1位に?「ランキング検証」で要因を探る!

 集計の仕事は、まだまだ終わりません! 完成したランキング結果の検証もしっかり行います。ランキング検証では、1位の企業が高評価を得た理由は何か?、前回(前年)のランキングから大きな順位変動があった場合、その要因はなんなのか?といったことを、データや市場動向から多角的に分析します。ランキング結果の要因を探っていく際、最初は自分が立てた仮説と合わないことも。作業は大変ではありますが、膨大なデータのかけ合わせで各企業さまの企業努力とランキングデータが一致した時の喜びは、とても大きいものです。また、市況や企業さまのお取り組みなどを調べているとさまざまな気づきや発見があり、いち社会人として成長できていることを実感させられます。

ランキング検証の一例。こちらのデータは、すべてダミーです。

ランキング検証の一例。こちらのデータは、すべてダミーです。

5.「ランキング確定・公開」はチーム連携のたまもの

 ランキング結果とランキング検証の内容を事業部内で確認し、問題がなければ正式にランキング確定となります。確定したランキングは、毎月第1営業日にオリコン顧客満足度ランキングのWebサイトにて公開。プレスリリース等でも、情報を発信しています。

 以上が、集計ユニットの仕事です。みなさまの暮らしの満足度を高める指標をお届けするべく、ほかのユニットメンバーと連携を図りながら細心の注意を払って毎日作業をしています。引き続き、気を引き締めながら作業に邁進していきたいと思います。これからも、オリコン顧客満足度ランキングをよろしくお願いいたします!