欢迎来到noYes游戏王国
网站导航
在上一篇文章中，小编为您详细介绍了关于《虚幻引擎5正式公布，Epic高管解读技术奇迹》相关知识。本篇中小编将再为您讲解标题从思路到工具 - 增长实验数据归因分析。
接上篇：从设计到归因 - AB Test 实战心得
== 前言 大家好，第二篇数据驱动增长的干货来了。上次我们跟家分享了【硬核】从设计到归因 - AB Test 实战心得，但都会偏理论层面，这次我们直接通过分析思路和工具层面，来详解我们对实验数据的分析和评估过程，以及如何做分析和归因，让我们的结论有理有据。 本次分享的主要目的是希望帮助更多的人掌握分析思路，这样在当我们开展任何增长实验的时候，在面对自己的分析或别人的分析结果时，能够有效的解读和利用实验结果，达到实验的目的。 == 适合阅读人群 正在做增长的产品、运营、数据人员及其他对数据有分析和观察需求的朋友 == 1. 关于AB Test 的结果归因 上一篇关于AB Test 的分享我们提到了，当我们的实验获得了一次显著的结果，可以说明实验有效了，但这样就结束了吗？直接告诉团队的其他人实验成功了，OK吗？ 显然不是，现实中我们会更在意实验为什么成功了？具体表现是什么？而一个没有被归因的结果，不太可能给我们带来可以被沉淀和复制经验。 笔者想重点说明的一点是，掌握对实验数据归因分析的思路，这样才找到实验方案背后可能的真相，也才真正有利于我们决策，而不只是停留在一个结果数据上。 当我们自己给出一份分析或获得一份分析报告时，我们都应该多思考一下，这个数据或结论是否找到实验结果背后可能的原因？没有的话，其实并不严谨和完善。 当我们没有归因实验结果，那等同于我们没有真正获得成功的经验，反之，我们也没有获得失败的经验，而这些经验正是增长的关键所在，也意味着我们每次实验不是盲目投入。 例如： 你修改了某个文案用于实验，实验结果显著了，你说是改变文案的功劳，然后到此实验就结束了？那么，你的下一步建议呢？如何进一步提升？用户为什么看了这个文案就更容易转化了呢？再换个文案是不是更有效？文案是否有规律可循？ 通过这个例子，我们可以看到，我们不能一直盯着文案改变后的结果，更要研究文案改变后用户的行为模式变化，以及用户是如何达成最终目标的；文案对比是感性的，很难直接衡量差异，而对数据的影响和变化，是可衡量的对比，有迹可循，提供依据。 解读用户因某个变量产生了什么变化，从而导致结果发生了改变，这个才是归因要做的事，也是老板们关心的，这样才能够让我们真正习得经验，给下次调整提供方向。 == 2. 实验的本质是要不断习得经验 笔者认为，实验的本质是要不断习得经验，即使这个实验没有出现胜出组，我们也可以不断通过归因习得经验，总结到成功或未成功的经验，而不是面对成功或未成功的方案，两眼发愁，得过且过，要珍惜每次实验的团队学习机会。 大家可以思考一下，我们的团队平时的AB分析是怎么做的？是否有类似的情况？
其实，当方案一旦调整，我们理论可以从用户行为上的差异发现区别，例如触达后开始的一段周期内，用户行为如何改变？ 举例，假如我们的方案是新页面曝光与不曝光，这类的行为比对，则可以扩散到用户触发时机之后做对比，因为用户触达后的行为变化可能与遇见该页面有关，没有遇见的用户的行为模式对比，能够找到更加有意思的数据变化。 比如触达后，是用户的活跃率高了，活跃时长更长，还是时长变短，还是操作更加频繁等等，深度归因和对比，是否用户作出的行为改变是因为你的方案，这样我们就能够详细归因。 数据比对就是要事无巨细，真正走进用户的操作过程中，记住，这个要依赖与你采集到了足够的数据，当你没有足够的数据分析和采集经验，那么我建议你，能点击的地方尽可能采集，能浏览的地方采集停留时常，多入口的页面采集来源，这样你的数据就会比较完整，在很多分析模型中也能发挥作用。 注：数据采集是个大话题，今后有机会再来分享。 == 3. 如何归因 我们知道要归因，那我们要怎样做，下面我们借助前面一个分享过的案例来看一下分析的过程。 【案例】 假设：上线7天免费试用，能够对收入有提升10%，提高用户付费转化率提高10% 核心评估指标： 用户付费转化率（7天内，0金额不计算） ARPU（7天内） 实验分组： A 控制组，默认不曝光免费试用商品（原价商品） B 实验组，曝光7天免费试用，显示免费试用字样 参考下面数据例子： 
通过上面的例子，我们可以看到实验的转化结果，这样的统计方式汇总程度较高，可以统计到显著结果，该指标其实是忽略了中间的转化过程；当然，我们正常不会评估一个指标，但这里只做案例假设。 这里的目标转化量 = 用户实际付费的用户量（扣除退款） 要对上述结果做归因，我们需要了解可以拿到什么数据用于做归因分析，以下的分析思路可以供大家参考 3.1 获取方案触达到转化的过程指标 触达到转化的中间过程，笔者喜欢称之为一个“过程黑箱”，当我们不去拆解，对我们来说就是个黑盒子，因为你如果不去仔细拆解，根本无法想象里面有多少我们可以使用的数据，这个是我们可以归因分析的一个方向，值得大家去尝试分析。 
我把这类归因分析的过程，称之为拆解过程黑箱内的数据指标，通过对比不同方案的数据差异，来分析数据的变化，做结果归因。 过程比较简单，只需要梳理该过程黑箱内可能影响转化的指标，如果不清楚有哪些数据可用，可以借助工具查看两个步骤之间的行为序列，找到你可以用的数据即可。 在这个例子中，我们的B组用户，经历了触达到转化（最终付费，不含退款）的过程，中间可能涉及到的指标或行为有哪些？ 例如： l 选取免费试用商品 l 选取非免费试用商品 l 页面停留时长 l 参与免费试用活动 l 参与免费试用活动-转化时长 l 自愿取消订阅免费试用 l 自愿取消订阅免费试用 - 取消时长 l 非自愿取消免费试用 l 免费试用到期转付费（7天） l 免费试用到期转付费升级/降级 l 免费试用到期转付费后退款 l 免费试用到期转付费后取消订阅 l 其他行为... A 组的用户大家可以按照这个思路拆解，当方案存在较大差异是，各组中间的指标是会存在较大差异的，可以寻找一些可以直接对比的数据，当然，指标本身的差异就是一个可以分析的方向。 当我们拆解完之后，已经可以比较清晰的知道用户在整个过程黑箱所经历的事情，当我们能够拆解出这一步，这个已经说明我们对业务了解足够的深入。 这里笔者为什么要强调对业务足够了解了，这是因为要做到深入的分析，真的需要具备足够的业务知识，否则你怎么能想到到期转付费前还能升级或降级呢？或者知道还有非自愿取消的比例？所以对于业务知识的了解是运营和产品人员的优势，可以尽情发挥在分析上面，这也是为什么业务分析很注重分析人员熟悉业务知识的原因。 那么拆解后，我们能得到什么信息？（注意，案例只是根据分析的内容提供了一个思路，要学会举一反三，不同的分析场景，过程黑箱里的可用数据不一样） 我们能够聚焦到用户触达方案后，实际的行为变化，例如直接选取了免费试用商品的比例变得非常高，这个能够直接通过行为得到结果，而且很少会有歧义；又或者，我们知道用户在付费前，取消的周期非常短，主要集中在头几天，且取消率非常高。（这里面就涉及到前面提到的从归因到经验习得） 假如我们通过对比发现，不同地区的取消率差异非常大，一些地区因为取消率高直接就导致实验失败了，这个就是一个归因，且当我们通过分析知道有这层数据存在，那么我们就更容易找到那些表现不明显的地区，即使一些地区样本量少，我们也能够大概率通过该因素来衡量实验效果，因为该指标和结果存在着较强的相关性。（区分维度也很重要） 分析过程中，多提出疑问和假设去分析，往往会有更加深入的发现 例如： 什么用户排斥免费使用？是转头就关闭，还是徘徊后走掉？直接流失比例多少？ 3.2 其他可归因的数据 那么，除了过程黑箱，我们还能找到其他数据来观察变化，尽可能归因吗？这是当然的。 笔者最喜欢看的还有一个流失数据，这是最能体现负面影响的数据指标，就是当方案触达后，用户不是直接转化，而是直接流失了，这个是个很有意思的分析方向，可以分析用户在该页面是如何流失的，流失前的相关行为变化，也建议大家多尝试一下，往往转化率不行也意味着流失，那么用户如何流失就很可能给我们提供重要信息。（在session分析的概念里，也称为会话中某一个行为的退出率） 此外，我们还能观察转化后的留存情况，订阅保留等数据，这些数据给我们提供了很有价值的长期估算指标。 
继续拿B组用户为例，我们此时针对该案例还能拆解出什么相关指标？用于分析数据变化。 例如： l 免费试用到期转付费后取消订阅 l 保留有效订阅数 l 直接离开App流失率 l 用户长期留存率 l 其他指标… 注：还是提醒一下，任何用于当前分析的数据都要基于实际业务，切不可完全照搬，有可能不适用于你的业务。 上述例子我们提取了取消订阅了等数据，通过免费试用到期转付费后取消订阅率，估算续费率，再核算到用户收益中，这样能够估算出用户长期的LTV值，如1个月/1年，当这个估算值高于对照组，且转化率、保留率显著提升的前提下，能够进一步说明实验上线后的长期收益，这个要比我们给一个“结果是否有效”有力得多，给出合理的预测，能够让团队更加清晰方案上线后的价值和预期增长。 笔者以前会习惯性的认为归因是在用户转化前的行为数据，但后来仔细想想，不见得转化后的数据不能成为归因分析，理由是用户正是因为方案B转化，且因为方案B的免费试用，体现出最终的付费后一段时间内保留的有效订阅高于方案A，因此可以反过来验证或论证实验结果。 3.3 归因分析过程要不断的假设 根据笔者的经验，我们要充分挖掘一份实验数据的信息，就要不断的重复做假设，重复分析和验证，无论是面对自己的分析结果还是他人的分析报告，不要停下质疑的声音。 当我们开始假设，就可以通过数据去验证，当前数据无法验证的，则可以再设计实验去验证，这个就是优化方案或想法的来源。 例如前面我们的一些分析可以尝试做如下假设： l 假设不是所有的地区取消率都很高（这个时候就去拆分地区数据验证就行了） l 假设用户流失是因为页面提示文案不友好，调整文案后会减少用户的排斥心理，减少流失（可能需要实验去验证） l 其他假设... 笔者总是按照先假设，再分析，再验证的方式在做每个数据分析工作 假设是否正确与个人对业务和对数据的熟悉程度有关，这里也体现了个人的预测能力，经常基于数据做出假设可以有效提高自己的分析水平（亲身经历，分享给大家） 
== 4. 利用工具归因 在工具方面越来越多的公司会接入第三方数据平台或工具，这里笔者借助合作多年的神策数据工具作为例子来分享。 分析工具方面推荐使用漏斗模型、归因模型、用户路径模型 以及 session 分析模型，这些都是可以用来分析行为前后的转化率、流量分布、行为贡献值等数据，适合归因；涉及到指标的获取，直接用事件分析即可。 4.1 漏斗分析模型 相信是大家常用的一个工具，用于关键步骤，转化率和转化时间的分析，一般可以看到转化前的步骤转化率变化，而转化时间也是一个很重要的指标，可以用于观察和总结用户行为模式差异。 4.2 归因分析模型 前面我们有一直在前调，对于转化前的黑盒，这个时候我们可以思考用户很多可能的行为，然后去做归因分析，计算每个行为的贡献度，对比不同方案的变化，那么我们就能够找到不同方案转化前的差异了。 通过归因分析每个因素（待归因事件）的差异，再去分析为什么是方案B比方案A要更优。 举例，方案对比如下： 假设触点A为转化前的核心行为事件，而两个方案的归因分析对转化的贡献度就出现了明显的差异，这个时候是可以总结方案改变了用户触点A的行为，触点A一般为我们根据业务选择的待归因事件，因此这个行为具备实际的业务含义。 当我们总结触点A的改变，那么是否又有其他因素在改变的触点A呢？那么触点A的转化因素也可以继续归因，以此类推。 实验组B 
实验组A 
4.3 用户路径模型 如果涉及到多层级或多步骤操作的因素，笔者也推荐类似用户路径的分析模型，可以分析出转化前，所有流量的来源分布数据，以及触点A发生前的流量分布，对比两个组的数据，也可以清晰分析两组之间的差异。 例如我们拆解出用户转化前的行为数据，然后通过路径做相关的路径分析，如触点A，B，C的数据变化。 通过设置关键转化目标为结束事件，再筛选不同组的用户做对比分析，既可以得到不同组之间的路径分布差异。 
== 补充 神策相对于其他数据平台或工具，其本质上都是一样的，我们要学会举一反三，我们只有了解了分析工具背后的逻辑，才能够通过工具正确解读数据，也只有正确解读了数据，我们才掌握利用数据描述事实的能力。 大多数团队甚至没有数据人员，因此笔者非常的建议产品和运营人员掌握一些常用的数据分析工具，用于日常的实验分析工作；对于实验的分析，不用太多coding和建模的知识，只需要掌握业务分析常见相关逻辑和分析思路，利用好一些成熟的数据平台或工具即可，并提高自己的分析能力，也希望这篇文章对大家有所帮助。 文章不足的地方在于只能就案例来对实验数据分析做相关经验分享，但这并不是全部，涉及到一些复杂的分析也很难一一分享，如果分析上遇到问题，欢迎大家随时与我交流探讨，也欢迎大家指正文中有描述错误的地方。 关于文中一些工具的计算方式和运算逻辑，相关概念网上有较多的资料，这里就不再啰嗦介绍了，大家在网上能够搜索到。 笔者在数据平台或分析工具的数据建设和使用有较丰富的经验，同时也欢迎对这块感兴趣的朋友与我一起交流学习。 作者：大Fei 来源：九日论道 |
编后语：关于《从思路到工具 - 增长实验数据归因分析》关于知识就介绍到这里，希望本站内容能让您有所收获，如有疑问可跟帖留言，值班小编第一时间回复。 下一篇内容是有关《 坦克世界领土战战况：阿拉伯战局已定》，感兴趣的同学可以点击进去看看。
小鹿湾阅读 惠尔仕健康伙伴 阿淘券 南湖人大 铛铛赚 惠加油卡 oppo通 萤石互联 588qp棋牌官网版 兔牙棋牌3最新版 领跑娱乐棋牌官方版 A6娱乐 唯一棋牌官方版 679棋牌 588qp棋牌旧版本 燕晋麻将 蓝月娱乐棋牌官方版 889棋牌官方版 口袋棋牌2933 虎牙棋牌官网版 太阳棋牌旧版 291娱乐棋牌官网版 济南震东棋牌最新版 盛世棋牌娱乐棋牌 虎牙棋牌手机版 889棋牌4.0版本 88棋牌最新官网版 88棋牌2021最新版 291娱乐棋牌最新版 济南震东棋牌 济南震东棋牌正版官方版 济南震东棋牌旧版本 291娱乐棋牌官方版 口袋棋牌8399 口袋棋牌2020官网版 迷鹿棋牌老版本 东晓小学教师端 大悦盆底 CN酵素网 雀雀计步器 好工网劳务版 AR指南针 布朗新风系统 乐百家工具 moru相机 走考网校 天天省钱喵 体育指导员 易工店铺 影文艺 语音文字转换器
