BOXIL SaaSのレビュー相関分析とプロダクトレコメンドモデル作ってみた

最終更新日：2023-05-19（記事の情報は現在から587日前のものです）

SaaS比較サイト「BOXIL SaaS」のレビュー（口コミ）情報より、レビュースコア活用の可能性を探ってみました。前後編のうち後編です。　※本記事はぽこしー氏のnoteをを再構成したものです

本記事は、ぽこしー氏のnote「Boxil SaaSのレビュー相関分析とプロダクトレコメンドモデル作ってみた」（2023年1月14日公開）を再構成した記事です。

目次を閉じる

前回の記事ではSaaS比較サイト「BOXIL SaaS（ボクシルサース）」のレビュースコアについて、プロダクトカテゴリ別の評価傾向や評価の高いプロダクトなどを調査しました。

今回は続編として、下記のようなデータ分析を行い、レビュースコア活用の可能性を探ってみました。

総合レビュースコアに寄与する度合いの高い評価因子
レビューとSaaSメトリクスとの相関分析
（おまけ）パーソナライズしたSaaSレコメンド

レビューに関するデータは、前回と同様にBOXIL SaaSのデータ（2022年2月時点）、SaaSメトリクスについては、著者のnoteで別途無料公開しているデータを使用しました。

総合レビュースコアと相関の強い要素は？

総合レビュースコアと各要素別スコアとの相関係数R（Rは-1〜+1の範囲の値をとり、+1に近いほど正の相関が強く、-1に近いほど負の相関が強い）を算出しました。一般的に相関係数が+0.5以上もしくは-0.5以下だと、強い相関関係があると言われています。

その基準で見ると、総合レビュースコアとの相関が強い要素として、機能満足度（R ＝ 0.63）、使いやすさ（R ＝ 0.58）、お役立ち度（R ＝ 0.58）、サービスの安定性（R ＝ 0.51）が挙げられます。

総合レビュースコアと各要素別スコアとの相関係数R

下図では、総合レビュースコアと相関の強い要素スコア上位3つと総合レビュースコアをプロットしました。図中の点1つずつが各SaaSプロダクトを示しています。やや密集しているようにも見えますが、概ね右肩上がりの相関関係（要素スコアが上がると総合レビュースコアも上がっている）になっていると言えるでしょう。

総合レビュースコアと相関の強い要素スコアとの関係性

総合レビュースコアに与える影響度は「お役立ち度」がもっとも高い

各要素のスコアが総合レビュースコアにどれほど影響するのか、重回帰分析を行いました。目的変数である総合レビュースコアを説明変数である各要素スコアで表現した重回帰式を記載したのが、次の図です。

総合レビュースコアに対する各要素スコアの影響度

重回帰式より、BOXIL SaaSにおけるプロダクトの「お役立ち度」スコアが+1点上がると、他の要素スコアは一定であるという前提のもとで総合レビュースコアが0.27点上がることが分かります。また、総合レビュースコアに与える影響度は「お役立ち度」がもっとも高く、「使いやすさ」「機能満足度」「カスタマイズ性」と続きます。SaaSプロダクトが社内で役立っている感覚や使いやすさが、全体的な満足度に繋がりやすいと解釈できます。

また、総合レビュースコアに対する「お役立ち度」の影響度は「機能満足度」と「カスタマイズ性」の約2倍になっていることから、単にプロダクトの機能が充実していたり、カスタマイズしやすかったりする以外の部分、例えば、ユーザーペインの強い部分に対するソリューションになっているか、SaaS導入による改善効果が見えやすいものなのか、などの重要性が高いことを示唆しています。

逆に、「料金の妥当性^※1」が総合レビュースコアに与える影響は小さく、ユーザーにとって本当に役立つSaaSプロダクトであれば、料金に対する許容度は比較的高いと考えられます。

※1 導入決裁者、導入推進者、システム管理者がスコアを付けられる項目

ARRは総合レビュー件数と相関が強い

次の図では、総合レビュー件数・スコアと、SaaSメトリクス（ARR、有料顧客数、Churn Rate）との相関係数Rを表示しています。

SaaSメトリクスと総合レビュースコア・件数との相関係数R

総合レビュー件数とARRの相関係数が0.83と非常に強い正の相関関係がありました。総合レビュー件数が多いということは、それほど利用企業数・ユーザー数も多く、ARRも高いと考えられます。

一方、有料顧客数との相関はそれほど高くなかったり、総合レビュースコアとChurn rateとの間には正の相関関係があったりと（評価が良いほどChurn rateが高い傾向がある）、一般的な感覚と一致しないものもありました。原因としては、メトリクスの定義が企業間で異なっており、正しく評価できていない可能性もあります。それらを切り分けて分析することで、分析結果が一般的な感覚に近づく可能性もありますが、今回は割愛します。

総合レビュー件数によるSaaSのARR推定

横軸に総合レビュー件数、縦軸にARRをプロットすると、次の図のような単回帰式が描けます。グラフからもレビュー件数が多いほどARRが大きい傾向にあることが分かります。

ARRと総合レビュー件数との関係性

少し荒い見方ですが、2022年2月時点でのレビュー件数80〜100件あたりがARR100億円を超える/超えないのボーダーラインの目安と言えそうです。ただし、前述の通り、従業員全体の利用頻度や時間が多いSaaSプロダクトにはレビュー件数が多く集まる傾向があるため、差し引いて考える必要があるでしょう。

実際に、レビュー件数が80件を超える主な企業（SaaSプロダクト）の売上・ARRを見てみましょう。以下の企業については、売上・ARRが100億円に近いか超えており、上記の推定とおおよそ一致していそうです。

セールスフォース・ジャパン：FY21 売上1279億円
DONUTS（ジョブカンシリーズ、CLIUS）：FY21 売上134億円
box：FY22 売上180億円（日本国内）
LINE（LINE WORKS）：FY21Q2 ARR79億円

ただし、セールスフォース・ジャパン（レビュー件数：255件）については、上のグラフと傾向自体は大きく外れており、レビュー件数が一定の閾（しきい）値を超えると、件数とARRは単純な線形の関係性にはならないことが示唆されます。

一方、以下の企業（SaaSプロダクト）は、従業員や一般ユーザーの利用頻度が高い可能性があり、傾向が異なりそうです。

ヒューマンテクノロジーズ（KING OF TIME）：FY21 売上30億円
GMOペパボ（LOLIPOP）：FY20 売上18億円
ヌーラボ（Backlog）：FY20 売上12億円前後（FY17の売上とBacklog有料契約数の成長率から推定）

以上より、レビュー件数だけでARRを精度良く推定するのは簡単ではありませんが、一般ユーザーに対する認知度がそこまで高くはないが、レビュー件数が80〜100件を超えているSaaSが今後出てきた時は、実はARRがかなり積み上がっている可能性もあるため、定期的にチェックする価値はあると考えています。

レビュースコアを活用したパーソナライズSaaSレコメンド

最後に、ユーザーのレビューに応じて、他カテゴリのSaaSをレコメンドするモデル作りを試みました。

2022年2月時点では、BOXIL SaaSでプロダクトの詳細ページを表示すると、同カテゴリの他プロダクトの資料も一括で資料請求できる設計になっています。ユーザーが興味あるSaaSカテゴリについて、比較検討できるような設計にしているのだと思われます。

一方、同カテゴリ内のSaaSを比較検討するだけでなく、自社の志向や状況にマッチした他カテゴリのSaaSもトータルでレコメンドしてもらいたいというニーズもあるかもしれません。そこで、BOXIL SaaSのレビューデータを使い、架空のユーザーのSaaS評価をもとに、他カテゴリの中で高い評価をするであろうSaaSをレコメンドするモデルを作って検証しました。

検証には、似たような評価をされるものを探す「協調フィルタリング」というアルゴリズムのうち、モデルベース協調フィルタリングの手法の一つであるFactorization Machinesを使いました。

検証ケース1

1つ目のケースは、IT系業種で会計ソフトはfreeeを好んで利用しており、freee会計に対してレビュースコア5点を付けているユーザーです。

SaaSプロダクト評価によるレコメンド Case 1

他カテゴリでレコメンドされるSaaSとしては、給与計算、勤怠管理、人事情報システムにおいては「freee人事労務」、経費精算では「freee経費精算」、電子契約では「NINJA SIGN by freee^※2」が比較的高いスコアで入っていました。freee会計を好むユーザーは、freeeのプロダクトで業務プロセスを構築することが好まれやすいであろうというのは一般的な感覚とも合っているのではないでしょうか。

※2 現「freeeサイン」

検証ケース2

2つ目のケースは、業種はケース1と同じくIT系ですが、会計ソフトはfreeeよりもマネーフォワード派で、マネーフォワードクラウド会計に5点、freee会計に1点を付けているユーザーです。

SaaSプロダクト評価によるレコメンド Case 2

1つ目のケースとはレコメンドされるSaaSも変わっており、給与計算は「マネーフォワードクラウド給与」、経費精算は「マネーフォワードクラウド経費」などマネーフォワード社の製品が多くなっています。他カテゴリについては、例えば勤怠管理だと、ケース1で入っていた「freee人事労務」がなくなり、「スマレジ・タイムカード」のみになっています。これはfreee会計の評価が低いユーザーに対して、freeeの他プロダクトをレコメンドするのは避けた方が良いことを示唆しています。

このようなレコメンドモデルを活用することで、ユーザーや企業個々の志向や状況にマッチしたSaaSをトータルで提案でき、よりSaaS導入を促進できるかもしれません。

また、ユーザーのレビュー評価から、そのユーザーが好評価しやすいSaaSを予測できるということは、SaaS提供企業から見れば、どのようなSaaSを好んでいるユーザーが自社の顧客になりやすいのか推定できるとも考えられます。そのような切り口から自社SaaSのペルソナを作ることも可能ではないでしょうか。