河北IPTV A/B测试平台的研究与应用

焦磊 ,卢金禹  ,解文龙 ,华博

 河北广电无线传媒股份有限公司  河北省  石家庄市  050011

一、概要

为了提升客户留存量、实现业务快速增长的目标，就需要通过真实数据来帮助产品改进、运营优化、营销分析和商业决策等。A/B测试实验能判断哪些渠道转化的效果更好，哪些功能样式更加受用户欢迎，即通过数据来支持决策。本文主要讨论河北IPTV平台应用A/B测试平台，通过介绍平台的系统架构，关键技术，可以比较不同版本的应用在用户体验方面的表现，从而选择最佳方案进行优化和改进，提高用户体验。

关键词： A/B测试、运营、多版本

二、背景

目前河北IPTV存量用户达1700万，为了能够更好的吸引新用户，留存老用户，提高河北IPTV用户的观看时长、活跃度及订购，迫切需要引入创新机制来优化用户留存转化、实现业务快速增长。为了提升客户留存量、实现业务快速增长的目标，就需要通过真实数据来帮助产品改进、运营优化、营销分析和商业决策等。有了数据，就能判断哪些渠道转化的效果更好，哪些功能样式更加受用户欢迎，即通过数据驱动来支持决策。

三、系统架构

系统架构采用分层设计方案，如图1所示，通过分层的设计，满足了高可用、高性能、扩展、安全、伸缩性、简洁等方面的设计目标，以下分别阐述了每一层的作用及不同层之间的关系。

（1）运行环境层：系统支持物理机和容器化部署，该层会统一操作系统版本及配置，统一进行资源管理与调度，对所有上层组件起到了支撑作用。

（2）基础设施层：该层为上层组件提供了包括数据库、离线处理平台及系统、实时处理平台及系统在内的基础组件；

（3）服务层：系统在业务层面拆分了服务层和业务层，把比较基础通用，性能要求高，变动频次相对低的部分划为服务层，服务层包括用于在线分流的分流服务，用于数据采集的日志服务，用户查询计算的统计引擎等服务。

（4）业务层：系统把和业务关系更紧密，需要经常迭代优化的部分划为为业务层，业务层按照“高内聚、低耦合”的思想划分为不同的业务模块。

（5）接入层：接入层包含CDN，网络防火墙，负载均衡器等组件，CDN用来分发诸如HTML、图片之类静态资源，提高用户的访问体验，网络防火墙为整个系统的网络安全起到了保驾护航的作用。

（6）应用层：应用层则是作为系统的入口，直接和系统的使用者打交道。其中前端UI部分是系统使用者用来操作使用系统的用户界面，SDK部分则用于接入集成客户的App、服务端等，用于采集数据，完成分流等。

图1 河北IPTV A/B测试平台系统架构

四、关键技术

4.1、分流技术

在AB实验中，我们希望样本分布尽可能随机，以减少抽样误差对实验结果造成的影响。分流就是完成随机采样、抽出整体流量进行实验分组的过程。

图2 河北A/B测试分流示意图1

分流服务位于实验链路的最上游，用户流量调用分流服务获取差异化实验配置，之后通过数据上报、数据加工、数据分析等过程生成数据报表，直观地展示出不同实验配置间的数据差异[1]。

图3 河北A/B测试分流示意图2

这就意味着，如果分流服务有问题，实验结果往往是不可靠的。反之亦然，如果实验结果有问题，分流服务常常被第一个challenge

4.2、AB测试 统计学原理

A/B实验的核心统计学理论是（独立双样本）假设检验。即首先做出假设，然后运用数据来检验假设是否成立。需要注意的是 ，我们在检验假设时，逻辑上运用反证法，统计上依据小概率思想。通过A/B实验，我们实际上要验证的是一对相互对立的假设：原假设和备择假设。

原假设H0（null hypothesis）：是实验者想要收集证据予以反对的假设。A/B实验中的原假设就是指“新策略没有效果”[2]。

备择假设H1（alternative hypothesis）：是实验者想要收集证据予以支持的假设，与原假设互斥。A/B实验中的备择假设就是指“新策略有效果”[3]。

4.3、多变量试验

业务场景是复杂多变的，而实验最佳的方式是控制变量，才能更便于归因。很多时候，无论是一个页面的优化，或是一个转化路径的优化，都会涉及很多变量，这些变量分布在一个页面或者多个页面上。

如果我们列出所有变量，逐一A/B实验。再将各个变量的最优结果，组成一个整体方案的话。很大概率拿不到整体最大收益，并非整体最优解。

举个例子。推广着陆页优化实验场景，选择两个变量，变量一，背景图，变量二，Slogan颜色。通过A实验，对比浅色/深色背景图，发现背景图，人们更喜欢深色调配图。再进行B实验，对比白色/黑色Slogan，发现黑色Slogan更能提高页面转化率。组合方案最终呈现深色背景图+黑色Slogan几乎融为一体，成为了效果最差的方案。

因此，多变量试验不是简单的穷举法挨个尝试，要有人为的干预，排除掉那些显然不靠谱的方案，避免造成损失。

五、应用案例

河北IPTV上线AB测试实验平台后，展开了多次AB测试实验，图4图5展示的是针对首页楼层模版的效果测试，分别用两种首页楼层设计，用以测试两组实验的楼层点击热度分布。

图4 首页楼层模版实验A                                         图5 首页楼层模版实验B

图6图7展示的是针对订购列表的展示形态测试，分别用两种订购列表UI及交互逻辑，用以测试两组实验是否对用户的订购能带来提升。

图6 首页楼层模版实验A                                      图7首页楼层模版实验B

六、结论

通过AB测试平台，可以得到更加可靠的数据结果，帮助企业更加准确地了解用户需求和行为，制定更加精准的营销策略。可以不断优化用户体验，提高用户满意度，从而吸引更多的用户。

七、参考文献

[1]罗锐.因果推断在推荐算法A/B测试分析中的应用[J].通信与信息技术,2021(05):67-70.

[2]李观胜.基于互联网的多路实时流媒体同步合成技术[J].信息记录材料,2021,22(07):151-153.DOI:10.16009/j.cnki.cn13-1295/tq.2021.07.076.

[3]杨山山.论A/B测试在电子邮件营销中的运用[J].现代营销(下旬刊),2019(12):90-92.DOI:10.19932/j.cnki.22-1256/f.2019.12.049.