機械学習プロジェクトは、分析結果をビジネス成果につなげるところがポイント

 

 ＜目次＞

機械学習のプロマネは、普通のプロマネとちょっと違う

 

最近、機械学習とかAIを使ったプロジェクトに関わる機会が増えてきました。

世の中的にも、機械学習を使ったプロジェクトは増えているように思います。

 

そして、私のような純粋ビジネスサイドの人間からすると

「機械学習のプロマネって、ちょっとこれまでのやり方と違うな」と思う瞬間が結構あります。

  

分析結果をビジネス成果につなげるところがキモ

その一つが「アウトプットをアウトカムに昇華させるのがキモ」ということです。

 

ここでいうアウトプットとは、データ分析結果を指します。

アウトカムとは、ビジネス上の成果を指します。

 

「分析結果が、ビジネス上の成果に結びつかない！」

 

という悲しい叫びは、誰か一人のものではなく、

経営者・ビジネスサイド・データサイエンティスト、それぞれから多く聞こえてきます。

 

機械学習でアウトプットとアウトカムが繋がらないのは構造的な問題である。

なぜ、機械学習のプロジェクトで分析結果がビジネス成果につながらないのか。

 

これには、構造的な問題が背景にあると思っています。

 

まず機械学習より前の話。

• 分析結果の読解は、難しくなかった。Excel二次元とかだから。
• 分析する人も、コンサル出身者のようなビジネスサイド寄りの人間が多かった。

以上の結果、分析結果とビジネス成果は比較的シームレスにつながりやすかった。

 

しかし、機械学習のプロジェクトの時代

• 分析結果を読み解くことに、一定のデータリテラシーが求められる（ことが多い）
• 分析する人であるデータサイエンティストは、ビジネス上の成果にそこまで興味がない（ことが結構多い）

結果、分析結果とビジネス成果に断絶が生まれがち、というわけです。

 

実際のケース

あるビジネスで、ユーザーの行動等から、機械学習を使ってコンバージョンの可能性の予測を立てたことがあります。

「機械学習で予測したコンバージョン可能性が高いユーザーに対して、アプローチしていきましょう」という施策。

 

まず、分析結果を正確に読み解くのが、意外と難しい。

 

そもそも分析結果を理解するだけでも、ちょっと面倒。

 

このケースでは、機械学習のアウトプットとして、コンバージョン可能性が0~1のスコアで示されるのですが、スコア≠実際のコンバージョン率でした。

これをある閾値で切ってみる、というアプローチをとっていました。

 

例えば、「スコア0.7以上の人は、コンバージョンに至る可能性が60%」みたいな。

 

さらに、実務にちゃんと落とすには

「スコア0.7以上、かつ、実際にコンバージョンする人は、コンバージョン全体の10%をカバーする」のように

• スコア
• 正答率（正確には適合率）
• カバー率（正確には再現率）

という３つの要素は少なくとも理解しなくてはならない。

（その背景として、偽陰性とか真陽性みたいな概念も理解しなくちゃならない。）

 

既にここまでで、（私の説明下手もあって）そこそこわかりにくいと思います。

※興味ある方向けに、この辺の話をまとめました： 

さらに、機械学習のモデルの中身・計算過程のロジックまで理解しようとすると、結構な勉強が結構必要です。

 

「数式が出てきただだけでアレルギー」の人も多い現実の世の中で、

「これからの時代必要だから」って全員にこれを求めるのは雑だと思う。

 

分析結果をビジネスをつなげるのも、そこまで簡単じゃない。

 

仮に読み解けたとして、この分析結果をビジネス成果につなげるのは、結構難しいです。

 

最初、ビジネスサイドはシンプルに「予測が当たった方がいいじゃん」と、

正答率（正確には適合率）を高めるリクエストを出しました。

そのリクエストを受けて、データサイエンティストは、正答率を高めてくれました。

 

しかし、途中で状況が変わって、多数の顧客に一気に質高くアプローチできることがわかってきた。

こうなると、正答率20%でも、コンバージョン全体に対するカバー率（再現率）80%の予測モデルの方がありがたい。

 

この時点で

「正答率は一定を超えればいいので、その中でうまく再現率も高く欲しい」

とリクエスト自体が変わります。

 

そして、リクエスト変更は１回で終わることではありません。 

実際のオペレーションや組織の状況で、結構流動的に変わるんです。

 

ちょっと雑に要約すると

• 分析
• ビジネス施策

の２つを行ったり来たりして

一番いい組み合わせを探っていくことが、機械学習プロジェクトでは求められる気がします。

 

だけど、この「行ったり来たり」をスムーズにできる人材・チームがなかなかいない。

 

 

じゃ、どうするの？

方向は２つあります。

 

①データサイエンティストが、分析結果→ビジネス成果　の翻訳力をつける

②ビジネスサイドで、データサイエンティストのアウトプットを読み解く力をつける

 

①を満たす人（ビジネスへの落とし込みができるデータサイエンティスト）が採るのが一見簡単です。

 

しかし、データサイエンティストと呼ばれる人は、日本ではまだ数が少なく、採用しにくい印象があります。

（少なくとも、私がここに書いているところでつまづいている組織が、そんな素敵な人を採る難易度は高いはず）

 

なので、個人的には、現実解としてのお勧めは②です。

コンサルや経営企画・マーケ出身者で戦略寄りだったり、数字に強めの人が統計と機械学習の基礎の勉強をすれば

②を満たす人（データサイエンティストのアウトプットを読み解いてビジネスにつなげる人）になれると思います。

 

かくいう私も、②を志向して、向こう５年くらいは食っていけるかなぁ、という感触があります。

正直、現時点で「AIのスペシャリスト」を目指すような関心も気概もないですが

確かに「AIとビジネスの間」みたいな領域はポテンヒットになりがちです。この点は実務として強い実感があります。

 

ビジネスサイドの偉い人たちは、AIのアウトプットを読み解いて、適切にフィードバックできるまで勉強しているとは限らない。

しかし、AIを司るエンジニア達に、ビジネスサイドのリクエスト、多数のオプションと同時に正しく伝えるのも、結構大変な作業。

 

ということで、「分析結果をビジネス成果につなげる」というところは機械学習プロジェクトのキモの一つで、

私は当面それでバリューを出せるんじゃないか、となんとなく思うわけです。

 

関連エントリ

データサイエンティスト養成読本 ビジネス活用編 (Software Design plusシリーズ)