美图数据总监：Facebook的法宝，我们在产品中怎么用？

在迭代上线的时候，A/B测试实验有时会看到意外的结果，可能是意外的好也可能是意外的坏，意外的坏常常在分析时比意外好的情形更得到重视。但从数据准确性的角度而言，意外的好与意外的坏是相同的情况，只有在确认数据正确解决了可能存在的问题之后，意外的好才会是真的提升。

同样重要的一点是大家对于数据指标的理解是否一致。

举个在之前的公司的例子，产品广告质量中用到一个产品“参考价格”的概念。这个概念非常直观，大家都喜欢用，可是在之后的沟通中的过程中会因为彼此的理解不同造成问题，比如它可以指产品价格的中位数，即于大多数商家选择的价格接近，也可以指在有信誉商家所提供的最低价格。对于美拍而言， “有效播放”也是个模糊的概念，可能存在各自有价值的几个相关的指标，比如播放长度是超过几秒，或者是超过视频长度的百分之多少，能尽早分别定义、命名清楚能够避免后续的混淆。

数据还能够帮助我们了解进展与建立优先级。

对一个快速发展的产品而言，可以优化的点很多，想法也就更多了，然而资源和时间是有限的。了解重要指标的数据分布可以是一个入手点，比如如果目标是增加美拍的总播放数，那么就可以先了解哪个频道的播放数占的比例最高。除此之外，具体的比例数据的绝对大小也不应该忽略。之前工作中曾经做过一次实验，希望上线的测试组比对照组的各项指标均没有明显变化，但转化数有1%的统计显著的增长。因为转化数是产品广告质量非常相关的一个指标，起初这个结果看着很不错。因为转化数的绝对值没有在界面中显示，等查到发现1%的增长只对应少几百个时，就进一步调查得知这个转化数指标的统计是依赖商家主动报上来的，很不完全，所以1%的增长对实际效果的影响并不能得出明确的结论。

另外一个体会是关于界面的。

用户界面的改变可能对下游的数据产生极大的影响，而一个好的设计对主要指标的贡献的程度会是后台迭代中很难见到的。比如在用户添加好友时取消确认框能够把损耗率降低两位数的百分点，而提升广告CTR的有效途径是设计吸引人的创意。与界面相关的特征也是机器学习模型的重要输入，而当用户界面有较大变更时，相应的A/B测试会需要独立的模型，这不仅仅因为有这些特征的存在，也是因为组成其他特征的数据分布和目标函数的分布都会有显著变化。

还有一句话是“If you can’t measure it, you can’t fix it”。

就是要求先发、及时的数据测量，如果问题无法测量，那也失去了解决的途径。这次调研其实有一些重要的用户体验数据没有包括在内，比如和用户使用体验很相关的平均视频加载时间及其分布。还有一些分解的指标没有加到现有的统计后台中，后面会尽快补上。

大数据是现在常听到的一个词，甚至被用得有些过头了。拥有海量、多样的数据确实有很大潜在的价值，但要用好还是要定义、采集、存储、清理等一个个环节入手，才能为之后的分析、推断、预测提供可靠的基础。

数据感知的前提是：数据是有的；数据是正确的；理解是相一致的；在哪儿是找得到的；怎样变化是看得来的。而数据驱动则要求数据收集、处理和应用的整个过程都能够及时（甚至实时）而有效，这需要数据相关的上下游团队的共同努力。数据之所以有用是因为当产品够大时就不存在一个典型用户。A/B测试就是说明这点的很好的例子。每个人在做决定的时候会代入自己的判断，而良好设计的实验得到的客观指标，能够指引我们做出有依据的选择。从另一个角度讲，虽然数据是提升用户体验的一个指标，但总有它的局限性，例如依赖不完整的数据测量可能无法做出最优的选择。而用户的信任取得难失去易，从数据的角度而言就是要格外注意数据的隐私，这是非常重要的！

（编辑：云计算网_宿迁站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!