本技术提供了一种信息操作策略确定方法、装置、设备及存储介质,该方法包括:获取多个对象组执行各自对应的预设信息操作策略的执行结果;基于执行结果,得到每个对象组对应的至少一个操作数据;基于操作数据之间的相互关系对每个对象组对应的至少一个操作数据进行分类,得到每个对象组对应的至少一个操作数据集;将每个对象组对应的各个操作数据集中的各个操作数据进行汇总,得到每个对象组对应的各个操作数据集的汇总信息;将每个对象组对应的汇总信息当作新的数据进行重采样,根据假设检验原理计算每个对象组之间的统计显著性结果,由此确定出目标信息操作策略。本发明减少由于数据间非独立带来的统计偏差,提高信息操作策略确定的准确性。
背景技术
AB实验系统是以正态分布为基础的实验统计分析方法,它是通过假设用户的行为数据是独立同分布的,然后基于中心极限定理,对比实验组和对照组的均值来得到结论。现有技术在计算A、B两组差异的统计显著性时,先收集A、B两组的用户行为数据。然后假设A、B两组数据的用户行为之间相互不影响,样本数据是独立的,即假设A、B两组数据的样本均值和方差都存在,且样本服从独立同分布。接着可以利用假设检验原理,根据反证法来计算A、B两组数据的统计性数据,如p值,统计功效等。
现有技术是建立在每个用户行为之间是相互独立的基础上的,在该基础上每个用户行为之间的协方差为零,然而在实际应用中,每个用户行为之间并不是独立的,如果忽略了不独立的数据之间的协方差,将会导致计算出来的数据少了部分值,即方差低估,从而造成实验结论不准确,这样会造成业务方做实验得到B组方案比A组方案好的结论,但是实际B组方案上线后却达不到预期效果。
实现思路