NPS挖掘和分析方法

— 1 —
NPS变化显著性检验

NPS由于抽样有限,每天所得到的nps是有误差范围的。所以当我们发现某个时间点的NPS比另一个时间点的高,我们需要判断高的概率是多少 ?例如,当样本量很小的时候,即使今天的nps是15%, 昨天是10%, 也有可能高的概率只有51%(高是由于随机误差导致的)。

因此我们希望通过一个科学的方法来验证:我们观察到的NPS变化是否具有统计学上显著的意义。假如NPS变化并不显著,属于正常波动范围,那么我们可以选择继续观察,也许体验的变化还需要一段时间的积累才会体现在NPS上。当然,哪怕验证结果表明NPS变化不显著,我们也依然可以按照分析的流程往下寻找变化原因。
 
同学们可以选择在R中新建一个function,再输入前后两个NPS的相关数据,即可以得出两个NPS大小比较的概率,如下图:

P(nps1 > nps2) >= 95% 说明:nps1 显著高于 nps2


(R中function代码以及结果示例)

— 2 —
问题拆解:细分维度
(城市、用户类型/行为)

目前我们最经常看到的是某个事业线的NPS值,但如果要寻找具体的问题和抓手,建议大家利用多种维度来对NPS问卷进行拆分,比如:城市、用户类型(服务分、使用频率、用户价值)等。细分维度的拆解能帮助我们有针对性地跟踪某个城市、某种用户体验的变化,进而产出具体的策略抓手来予以改进。


— 3 —
表因分析

当我们已经通过数据的统计跟踪,发现了某类人群的NPS变化,可以利用以下方法先分析一下引起NPS值变化的表面原因。
 
3.1 推荐者 / 贬损者比例变化
通过NPS的计算公式,可以直接将NPS的变化拆解为推荐者或者贬损者比例的变化。不同的变化趋势可能背后的原因也不尽相同。如果近期NPS下降主要由于贬损者的增加引起,那么我们在寻找问题原因的时候,可以重点挖掘贬损者的问题。

3.2 问题选项占比
(某环节相对其他环节的体验变化)
如果我们希望找到推荐者、中立者或者贬损者分别关注什么环节的体验,那么选项占比可以提供这样的信息。
问题选项占比 = (选择该项的推荐者/中立者/贬损者人数)/ (全部推荐者/中立者/贬损者) * 100%
需要说明的是:由于目前问卷选项设置了个数限制(最多选择3个),因此选项占比相互之间的对比均是相对的;且由于选项占比是在推荐者或者贬损者内部进行比较,因此在考虑某个环节体验好坏的时候,也应该考虑推荐者或者贬损者的比例变化,有可能贬损者的选项占比在提升,但贬损者在下降,那么实际上选项的体验是在好转,只是与其他环节的体验对比来说较差。而某个环节绝对的体验变化,可以通过单项NPS来进行跟踪。

3.3 单项NPS(某环节绝对的体验变化)
当我们希望了解某个环节/选项的体验是否绝对地在转好,那么计算单项NPS会是比较科学的方法。我们仅对所有选择了该选项的推荐者、中立者和贬损者(即:所有对该环节有感知的用户)进行计算,从而得到该环节/选项体验的单项NPS,可以帮助我们跟踪是否这个环节体验确实有了绝对的改善。
计算方法如下(目前普遍使用第二种计算方法):


3.4 词云分析
刚才我们的分析都集中在NPS问卷当中第一个问题(NPS打分)和第二个问题(选项),但千万不要忘了还有非常重要的第三个问题:开放问题。通过开放问题,我们可以了解更多司机、乘客遇到的具体的情况。有的是对选项的补充,有的是选项可能无法包括的问题。这些文本对于我们分析具体问题并对用户进行有针对性的反馈有非常重要的作用。

词云分析网站推荐:
http://timdream.org/wordcloud/
http://www.bluemc.cn/

— 4 —
表因验证: 相关业务指标变化

当我们已经对NPS问卷直接反应出来的问题有了基本的分析之后,接下去我们可以再将问卷与实际的业务数据指标进行交叉验证,从而能更加准确地帮我们定位问题。
 
例如,问卷中快车司机反馈“收入”问题的贬损者增加,或者单项NPS持续下降,那么我们可以通过查看以下业务指标来验证是否司机的感知属实:
 
* IPH/TPH
* 计费时长占比
* 接单密度
* 人均奖励/补贴金额
* 其他收入类指标
 
当我们发现司机收入/奖励确实有下降,与司机感知相同,那么我们就可以在收入、奖励发放方面做更多的优化,让司机的收入感知更好。