站长之家用户 - 传媒 2022-06-28 09:38

神策数据 A/B 测试指标管理与试验报告双升级!

此前,企业进行 A/B 测试时每个试验指标都需要单独配置,在业务发展初期还可以接受,但当你的公司有 5 个业务部门、每个部门有 50 个试验、每个试验需要配置 10 个指标时,该怎么办?

在神策数据 A/B 测试产品服务客户的过程中,我们收到了不少基于试验高质量增长的反馈,但与此同时,也进一步收集到了客户对 A/B 测试产品的更多需求,比如多产品线的指标配置口径统一、更细颗粒度的试验直观分析报告等。

针对此,神策数据 A/B 测试产品团队秉承着“给客户带来价值”的理念,深入客户痛点,完成指标管理与试验报告两大模块的重磅升级,明确了试验指标的类型、配置方式和计算原理并可以统一调用,显著提升试验配置效率;另一方面,新版试验报告拆分化,无论你是企业的什么角色,在使用 A/B 测试的时候,都可以快速获取更丰富、方便阅读的报告内容,以及多角度、细颗粒度的试验洞察和报告产出,全面提升产品体验。

关注神策数据公众号,了解更多 A/B 测试功能与实践。

接下来将详细介绍。

一、试验指标管理升级,把指标配置时间从「分钟」缩短到「秒」

为了帮助企业更好地进行试验指标管理,神策数据 A/B 测试在此次升级后,进一步完善了指标的类型、配置方式、计算原理,分析师等同学可以明确计算逻辑,比较大可能减少歧义和与技术同学沟通的成本,轻松实现公司内部信息的有效统一。

比如,对于通用指标 DAU 来说,部分客户的公司内部有统一的口径,不同的业务部门做试验的时候如果跟着试验单独配置,容易造成 DAU 口径差异,带来指标口径和计算方案核对的额外成本。而通过试验指标管理功能,企业可以通过统一创建 DAU 指标,对齐后续所有试验涉及 DAU 指标的计算口径。

通过神策数据 A/B 测试的指标管理功能完成统一配置后,相较于过去每个试验都需要进行指标配置的情况,针对相关性较强的试验,企业可以告别费时费力的重复配置,有效减少操作量。过去需要数十分钟的配置工作,现在只需一键调用即可快速完成。

值得关注的是,神策数据 A/B 测试在此次升级后也将为客户提供常见业务指标的观测能力,帮助客户更全面地评估试验效果。

二、试验报告升级,不只有统计学指标,业务数据也一目了然

企业可以通过试验报告综合了解试验情况、同步了解业务状况、对试验进行小时/分钟粒度的监测、自定义主题分析等。通过此次升级,神策数据 A/B 测试将试验报告拆分化,同时丰富了每个细分部分的内容,全面提升报告的整体可读性和易用性。

具体表现在:

头先,综合了解试验情况。观测试验运行至今的进组情况、重要指标的数据表现、指标的统计检验结果。也就是说,相较于之前的试验报告,试验负责人可以通过新的报告总览直观了解进组人数、重要指标的表现,并统计检验指标结果。

第二,同步了解业务状况。除了关注试验本身的数据,同时观测常用业务数据在试验期间的变化情况。

第三,实时监测。对于实时性较强的试验,如活动落地页试验等需要进行短期高频观测的场景,可以进行小时/分钟粒度的监测。

第四,自定义主题分析。通过自选指标和观测时间范围,进行主题式分析逻辑的构建,辅助产出报告或分享试验洞察。

第五,发布报告增加指标选择。可切换指标查看发布策略情况。

升级后的试验报告不再只有单纯的统计数据结果,对于关注业务类指标的产品运营同学,可直接查看试验的业务报告;对于技术同学来说,参考检验类指标相对更严谨;对于试验负责人,只需查看报告的试验总览,即可获得进组人数、重要指标的表现,以及检验指标结果。

通过指标的统一管理,报告可读性和透明性提升,打消客户 A/B 测试使用成本的顾虑,可以让客户更加聚焦业务本身,而不是反复的配置和需求沟通上。

除此之外,神策数据 A/B 测试在此次更新过程中,还进一步明确了试验进组事件,减少对指标计算逻辑的误解;同时,样本量计算器适配新的指标管理逻辑,支持多个检验指标切换去预估样本量,自动配置计算模板。

关注神策数据公众号,了解更多 A/B 测试功能与实践。

相关话题

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,文章为企业广告宣传内容,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

推荐关键词

24小时热搜

查看更多内容

大家正在看