小猿搜题的NPS案例和经验分享

很多时候,数据分析不光会得到你的产品本身的状态,还会发现一些新的机会。借助这些新发现,我们对产品产生新的认识。
拿「小猿搜题」来说,我们一直在监控它的 NPS(净推荐值) 数据。为了把数据分析得更加细致,我们把打 NPS 0 分的用户行为进行了抽样分析,最终我们发现,虽然我们的 slogon 叫「初高中拍照搜题利器」,但是却有大量的小学生用户在使用我们的产品。
我们并没有为小学生做任何的产品上的优化,所以造成了这部分用户没有被很好的满足。所以,我们最近在内容和搜索算法上针对小学生做了特别优化,同时将产品的 slogon 修改成了「中小学拍照搜题利器」。
如果没有细致的数据分析,我们可能就错过了几千万的潜在用户。

去年 8、9 月份,公司 CEO 偶然提及 NPS 这个指标,于是自己做了一些研究,并在产品团队内部进行了分享和推广,后续项目的用研一直使用这个指标。

用研的基础概念
在做用户调研通常是为了收集用户的使用情况、评价和感受。一般会根据调研目标,采用不同的量化指标,最常用的是李克特量表,用来让被试具体的指出自己对该项陈述的认同程度,通常分为五级:强烈反对 -> 不同意 -> 既不同意也不反对 -> 同意 -> 坚决同意。
在问卷的编制结构上,其实已经有了一套比较成熟的理论:美国顾客满意度指数模型(ACSI,American Customer Satisfaction Index),主要是用来衡量用户满意度。
如果是用来分析用户需求,还有一些常见的分析模型,比如:KANO模型、四分图模型。对于这些模型,个人观点是全部了解一遍,在实际项目中根据情况,自然会知道哪些适合哪些不适合,并且进一步总结出适合自己的方法论。

NPS 是什么
这是 wikipedia 上对 NPS 的解释:
Net Promoter or Net Promoter Score (NPS) is a management tool that can be used to gauge the loyalty of a firm's customer relationships. It serves as an alternative to traditional customer satisfaction research and claims to be correlated with revenue growth. NPS has been widely adopted with more than two thirds of Fortune 1000 companies using the metric.
如下,NPS 只有一道题目,统计方法也非常简单:
简而言之:NPS 是一个非常宏观的指标,用来衡量用户忠诚度。

哲学观:你如何对待用户,用户就会如何对待你。如果认同「以用户为中心」的理念,就能认同 NPS 的哲学观。
NPS 的本质是信用背书。用求职内推来类比,就比较容易理解了。
NPS 只是评估监控的结果,数据本身并不能为产品/业务带来任何变化。

详细来说,NPS 分为三种:tNPS、rNPS 和 cNPS
tNPS:即时(当下)客户在结束产品、服务后的一个满意度(推荐度)tNPS最大的优势在于当下就能反馈出第一手的资料,尤其在做 detractor analysis 的时候最能体现现有问题;
rNPS:在相同间隔下(通常以季度/年为主)客户对产品、服务等的总体推荐度。 优势在于在可衡量固定时间间隔的客户整体满意度。
rNPS:在某些程度上有最大的扩展分析空间,包括结合市场分析、竞争对手的分析、客户流失率等一系列进行综合分析。 很大程度上 rNPS 可以起到一
个很好的补充作用。
cNPS:在将自身产品服务和竞争对手同时让客户进行推荐度选择。cNPS 可以在一个相对客观公平的基础上,反映自身产品的忠实用户群体大小以及整体推荐度。

关于忠诚度和满意度,还是有所区分
满意度:可替代,满意度高可能只是意味着我们提供了与该产品描述一致的功能,我们能够及时响应用户遇到的困难等,但并不意味着我们具有竞争优势或增⻓动力。
忠诚度:用户愿意以自己的信用为我们的产品背书,净推荐值以更严格的标准避免了我们对产品现状的自我安慰,真实的聚焦于产品增⻓的驱动力和竞争优势。该指标既考虑了使用者本身直接的经济效益(产品选择行为),又考虑了其作为推荐者潜在的经济效益(产品口碑影响)。

为什么采用 NPS
首先,本质简单。从 NPS 的哲学观上来讲,「你如何对待用户,用户就会如何对待你」,和互联网产品设计「以用户为中心」的理念本质上是一致的。
其次,结果直观。NPS 是一个计算简单、非常宏观的指标。NPS 的值理论范围是 -100% 到 100%,看一眼实际数据,就能够发现问题,知道产品本质上是好还是不好的。
最后,易于理解。不需要深厚的统计学知识,产品、设计、研发、运营、市场……公司任何一个同事都能够看得懂 NPS。
如果还要补充一点的话,就是 NPS 能够有效预测企业/产品未来⻓期的用户增⻓&利润增⻓情况。分享一则 Airbnb 的案例:Airbnb How well does NPS predict rebooking?,文章分析了复购率和 NPS 之间的相关性。

国内采用 NPS 的公司
查阅了各大博客,腾讯 CDC 最早介绍了 NPS。目前,国内也已经有不少互联网公司采用了 NPS。
网易有道几乎所有产品线都会收集 NPS,一般在 app 的「我的」或者「设置」页面放置固定入口。
InfoQ 的线下会议结束后也会发放纸质的问卷收集参会人员的 NPS。
印象最深的是滴滴,会通过手机短信定期发送 NPS 的调研问卷。
非互联网公司里面,中国平安也全面实施了 NPS,这点倒是比较意外。

采用 NPS 注意点
NPS 看起来很美好,简单、易懂、易操作。但真正操作的时候,会有很多预料不到的因素会影响到结果。
一,水土不服。理论上 0~6 分是贬损者,7~8 分是被动者,9~10 分是推荐者。国外的标准是NPS 在 50% 才算优秀的标准。但实际调研下来发现,选择 9、10 两个分数的非常少,可能跟中国人的性格含蓄有关。
二,被试样本。发了一千份问卷给用户,结果只收集到两三百份。没有填写问卷的七八百个用户应该怎么处理?如果处理不好,会非常影响数据的效度。Airbnb 则会根据用户的其他特征数据,进行归类。实际采用时,需要根据产品特点、用户特点、问卷发放途径进行合理分类。
三,长期执行。前面提到了,NPS 只是一个监控结果,相当于一个快照,类似于财报里面的资产负债表。只有坚持长期调研,定期调研,再进行对比,才能发现产品的改进对口碑的影响,因为品牌和口碑,都不是一蹴而就的事情。
四,发现改进点。NPS 最大的问题在于,它只是一个宏观指标,不能为产品提供具体可执行的落地方案。因此,国内一些产品在采用 NPS 时,通常会使用分支题目的形式,当用户选择不同分数段(0~6 分贬损者,7~8 分被动者,9~10 分推荐者)时,再向用户询问选择的理由。