Airbnb的NPS实践案例

Airbnb的数据分析师利用数据来优化产品,从中发现问题并告知业务决策。然而对于大多数用户来说,“Airbnb的体验”通常发生在线下:即当他们前往目的地探索,见到房东并入住时。无论我们的网站做的多好,这些线下体验会影响整个Airbnb的体验。这篇文章展示了我们是如何利用数据来了解整体旅行体验的质量,特别是如何利用“NPS”来提升产品价值的。

目前,我们可以为线下体验提供的最佳信息是来自旅行结束后的评价,旅行结束后用户可以选择填写评价表,这份反馈的评分有1-5项,用户可以写下文字反馈:准确性,清洁度,入住办理,沟通,位置和价格。

从2013年起,我们为NPS表格增加了更多的评论问题。

通过衡量用户一次入住的满意度和忠诚度,NPS的目标是制定更有效率的方法来让用户发生再次预订的行为,或者是向朋友推荐预订,这会大大提升我们的竞争力。



实践方法

我们将一个人的NPS答案作为LTR(推荐可能性)得分,当NPS从-100到+100,LTR为从0到10的整数。我们研究了从2014年1月15日到2014年4月之间的数据,如果用户在此期间有多次旅行,则取第一次旅行为参考点,然后尝试预测用户未来1年内会不会再次与Airbnb合作。
问题是评分是可选的,有一部分用户没有评分也没有发表评论,所以NPS只是计算了回答问题的典型用户,在这次的分析中,我们也将不回答者考虑在内,包括那些给出评分但没有回答NPS问题的人。
为了评估LTR的预测能力,我们控制了与预订相关的其他参数,包括:
  • 总体评价分数和子类别评价分数,所有类型的评价等级为1-5.
  • 访客获取渠道(自然搜索或通过市场营销活动)
  • 旅行目的地(美国,欧洲,亚洲等)
  • 顾客的来历
  • 顾客在Airbnb的历史订单
  • 旅行长度
  • 旅客人数
  • 入住单价
  • 结账月份(考虑季节性)
  • 房间类型(整个房间,私人房间,共享房间)
  • 房东拥有的其他房源数量

我们承认这个方法可能有以下缺点:
  • 可能有通过预订能获取到的其他形式的忠诚度,当我们通过公司的推荐计划看到推荐指标时,客户忠诚度也可以通过以下方式体现出来:比如推荐口碑,而这一项是我们在本次分析中获取不到的信息。
  • 用户再次预订可能需要更长的时间,我们只看了未来1年内的,但有些旅行较少的顾客可能2-3年内才会发生再次预订行为。
  • 一位用户的LTR不能代表总的NPS,即使我们不能通过LTR值来准确预测一位用户的预订,但是我们可以用NPS来预测整个用户群的复购率。

尽管存在这些缺点,我们还是希望通过这项研究提供的数据,借助可以评估的NPS,更加了解线下体验。

——
数据统计和描述
我们的数据来自60万名用户,数据显示响应者(即提交评论的人):三分之二是NPS推荐者,超过一半的LTR打分是10。而在60万名用户中,只有2%是贬低者。
旅行的总体星级评分旨在评估旅行质量,NPS问题有助于衡量客户忠诚度,我们来看看这两个变量的相关性:如下图LTR分数在总体星级评分里的占比,虽然他们基本上是呈正相关的,但是他们提供的信息不同,比如说,对于一小部分打分在1星的用户来说,其中26%实际上是推荐者,说明他们还是支持我们的。
在不控制其他变量情况下,LTR为10的人要比0-6分的人,多出13%再次预订可能性和4%在接下来一年内提交推荐的可能性,有趣的是,我们注意到评分用户的复购率几乎与LTR呈正相关(我们没有足够的数据来区分0-6分的用户)。这些结果对Airbnb而言,将打分9-10分的用户放进推荐者一栏丢失了很多信息,我们也注意到那些没有做出评论的人和贬低者是一样的,实际上,他们比打分0-6分的人进行预订和推荐的几率还要低,然而,用户提交了打分但是没有回答NPS问题的行为和推荐者行为是一致的,这些结果表明当测量NPS时,也非常有必要跟踪响应率(即顾客评分率)。
接下来,我们看看其他因素是如何影响复购率的。例如,我们从近10周的数据中发现复购率是有季节性的,这可能是因为更多的季节性旅客倾向于成为常客和忠实用户。
我们看到短途旅行的用户更可能再次预订,这可能是因为他们已经使用Airbnb有一段时间了,懒得换其他的产品。
我们还看到再次预订和入住单价成抛物线关系。入住单价太高或太低的都不太可能再次预订。

——
哪些评论类别是最能预测复购率的?
除了总体星级评分和LTR得分,用户还可以选择回答以下问题:
  • 准确性
  • 清洁度
  • 入住办理
  • 沟通
  • 位置
  • 价格

在本节中,我们将调查用户在结束旅行后1年内是否还会再次预订,以及研究哪些问题最能预测复购率。
为此,我们比较了一系列嵌套逻辑回归模型,我们先来看基本模型:其依赖变量仅包括我们上面提到的无响应者:
然后我们在这个模型基础上增加一个问题变量。
我们分别比较了从f1到f8相对于嵌套模型f0的AIC,AIC用于模型的拟合度和数量参数,从而防止过度拟合。
如果我们只包括一项评论问题,LTR和总分基本持平,添加任何一项来改善模型后,都不如之前的LTR和总分高。
接下来,我们调整基本模型,以了解什么是我们可以添加的评论类别。
结合LTR,添加总体星级评价能最大程度的提升模型,而添加第二种评论类别时,提升较小。
我们在模型中重复添加不同的评论类别这一过程,直到模型没有统计学意义,最后,我们保留了以下评论类别:
  • LTR
  • 总体星级评分
  • 六项中的三项

我们发现这些评论都有非常强的关联性,所以一旦我们得出了LTR和总体星级评分,就可以只选取六项中的三项来做模型。增加更多的评论类别只会太分散而对提升预测的准确性没有太大意义。
最终经过测试,我们的预测模型如下:
旅行结束时仅使用用户的LTR,我们可以准确地预测他们是否会在未来1年内再次预订。如果添加用户的行程信息、房东和旅行信息,我们可以将预测准确性提升到63.5%,添加评论类别(不包括LTR),我们可以提升0.1%。全部添加后,再添加LTR到模型中,仅能再提升0.002%的准确率。

——
结论
仅旅行后评论(包括LTR)能够稍微提高我们对顾客1年内是否会再次预订的预测能力,当控制行程信息和住客特征变量后,仅通过总体星级评价,预测准确性只增加了0.1%。在所有评论类别中,LTR在对复购率的预测最有用,但如果我们控制其他变量,LTR却只能提高0.002%的准确性,这是因为LTR和高评分是相关联的。
评论的目的不仅是为了预测复购率,也是为了增强平台信任感,帮助房东增强信誉,我们发现给出较高的LTR的用户更有可能向身边的人推荐,而贬低者则让其他人拒绝使用我们的产品,我们可以用这些NPS附加模型的方式跟商业目标相结合,更谨慎的对待NPS和设计评论问题。