データ分析の信頼性をチームで上げるモブレビューの導入

こんにちは。データサイエンティストのshobyです。

今回は、データ分析の信頼性をチームで上げるために、皆でコードレビューをするモブレビューを導入した話をご紹介します。

モブレビューを導入することにより、分析要件や分析手法の妥当性をチームとして保証し、より精度の高い分析結果を出すことができるようになりました。

概要

  • TVISION INSIGHTSにおける分析プロセス
  • TVISION INSIGHTSでの分析における課題
  • モブレビューとは
  • TVISION流モブレビューの進め方
  • モブレビュー導入による効果

TVISION INSIGHTSにおける分析プロセス

TVISION INSIGHTSでは、主にクライアントのCM出稿を最適化するため、視聴質データを用いた分析を行なっています。

主にデータ分析の流れは以下のようなプロセスになっています。

f:id:shoby:20181227195929p:plain
データ分析フロー

  1. クライアントの分析に関する要望をセールスチーム・カスタマーサクセスチーム（以下CSチーム）でヒアリング
  2. クライアントからヒアリングした要望をセールス・CSチームとデータサイエンスチームで分析要件に落とし込む
  3. データサイエンスチームで分析を行い、CSチームでクライアント向けの納品物を作成
  4. セールスチームで分析結果をクライアントに納品

TVISION INSIGHTSでの分析における課題

TVISION INSIGHTSのデータサイエンスチームでは、分析要件の妥当性と、分析結果の信頼性という2点において、課題を抱えていました。

主にどちらもドメイン知識などに由来する暗黙知の共有が不確かなことが主な原因でした。

分析要件の妥当性における課題

TVISION INSIGHTSでは、主にクライアントのテレビCM出稿を最適化するために、視聴質データを用いた分析を行っていますが、 分析をする際の要件定義がうまくいかず、社内で何度もデータの出し直しが生まれていました。

f:id:shoby:20181227200242p:plain
要件定義のやり直し

クライアントにとって最適な分析を行うには、正しい分析要件の定義が必要になりますが、 その際には、テレビCMに関する専門知識と、クライアントのCM出稿事情という2つのドメイン知識が必要になります。

このようないわゆる暗黙知を把握しつつ、正しい分析要件を決めることは難しく、セールス・CSとデータサイエンスチームの間で、データを出し直しては要件定義をやり直す、というラリーが多発していました。

分析結果の信頼性における課題

また分析においても、要件通りの分析が行われておらず、CSチームの納品物作成時にミスが見つかり、再度分析をやり直す、という事態が発生していました。

f:id:shoby:20181227200849p:plain
分析のやり直し

分析コード自体のバグ発生は、以前に導入したコードレビューで改善されましたが、 チームメンバー間でCM業界に対する専門知識や、統計に関する知識に差があり、 コードレビューだけで分析結果の正しさを保証するのが難しい状態になっていました。

tech.tvisioninsights.co.jp

このように個人の持つ暗黙知が異なるケースでも、チームとして分析の信頼性を上げるべく、モブレビューの導入を行いました。

モブレビューとは

モブプログラミングの手法を取り入れ、レビューを行う方法で、TVISION INSIGHTSでの造語です。

TVISION INSIGHTSでは同じ場所に集まり、分析要件や、分析用コードのレビューを行なっています。

モブプログラミングに関しては、分かりやすい資料がありましたのでご紹介します。

speakerdeck.com

モブプログラミングではなく、モブレビューである理由は、分析作業は試行錯誤に多くの時間が必要であるためです。 皆で作業する時間をレビューのみに絞ることによって、最小の時間で分析の妥当性や信頼性を向上できるようにしています。

TVISION流モブレビューの進め方

TVISIONでは、分析要件のレビューと、コードレビューにモブレビューを導入しています。

分析要件のモブレビュー

クライアントのビジネスニーズに合った正しい分析を行うため、分析要件のモブレビューを行います。

モブレビュー形式で要件のレビューを行うことにより、 クライアントに近くドメイン知識が豊富なメンバーと、分析に関する知識が豊富なメンバーにより、 多角的な視点で分析要件の妥当性を確認することができます。

分析要件のモブレビューは以下のような方式になります。

f:id:shoby:20181228182111p:plain
要件のモブレビュー

  1. セールス・CSチームのクライアント担当者1名が分析要件の草案を用意する
  2. セールス・CSチームのクライアント関係者と、データサイエンスチームの2名（実装者とレビュー者）が参加
  3. ビジネスニーズと分析軸が妥当なものであるかを検証しつつ、分析要件を固める

分析結果のコードレビュー

事前に決めた要件通りに分析ができているか、ロジックや分析手法に間違いがないかを確認するために、モブレビュー形式でコードレビューを行なっています。

複数の視点から分析用のコードをレビューすることにより、通常のコードレビューでは見落としがちな要件とのズレを見つけやすくなります。

f:id:shoby:20181228185749p:plain
分析結果のコードレビュー

モブレビュー導入による効果

モブレビューを導入することにより、分析要件の妥当性や分析の信頼性を向上させることができ、社内での分析作業の手戻りが減りました。

また、クライアントのビジネスニーズや、CM業界知識といったドメイン知識や、統計知識の共有がチーム内で共有され、クライアントによってより最適な分析が行えるようになってきました。

まとめ

TVISION INSIGHTSでは、ドメイン知識などの暗黙知の共有不足が原因で、分析の妥当性と信頼性に課題を抱えていました。

これに対して、チームでレビューをするモブレビューを導入することにより、分析の妥当性や信頼性を向上させることができ、 暗黙知の共有が進んだことで、クライアントにとって、より最適な分析が行えるようになりました。