新的研究涉及悉尼大学商学院，发现研究人员低估了他们研究结果的不确定性程度。
在实证科学中，研究人员分析样本以测试假设，这会产生一种由抽样误差引起的研究内误差。重新抽样会得到估计值的不同，这个分布的标准偏差称为标准误差。
然而，研究人员往往忽略了还有一层不确定性，因为并没有一个标准的分析路径。
研究人员在认为哪条路径最合理方面存在差异，估计结果可能因研究人员选择不同路径而有所不同。这被称为非标准误差。
该研究由阿姆斯特丹自由大学的阿尔伯特·门克韦尔德教授等九名学者领导，涉及164个团队在相同数据上测试相同假设以检测非标准误差的影响。
专门组成的一支高度经验丰富的研究团队对这164个团队的工作进行了同行评议。
这项将发表在《金融学杂志》上的研究发现，非标准误差相对较高，与标准误差相差无几。
关于市场份额的相对简单的假设产生了1.2％的非标准误差率。对于关于市场效率更为复杂的假设，非标准误差率高达6.7％。
对于可重复性更好或评分更高的研究，非标准误差较小，并通过添加同行评审阶段减半。
悉尼大学商学院的研究参与者乔基姆·韦斯特霍姆教授表示，研究突出了在测试假设时，研究人员应考虑由于研究人员选择分析路径而导致的估计值的潜在离散性的重要性。
“如果研究人员在关键决策上没有一致，比如选择统计模型或处理离群值，他们的估计可能会有所不同，给单个团队报告的估计带来不确定性，”韦斯特霍姆教授说道。
“虽然我们不可能指望每一个问题都由一支拥有160名经验丰富的研究团队来调查，但我们可以设计方法来考虑非标准误差——例如，团队中的每个成员可以进行独立测试，然后进行比较和评估。”
韦斯特霍姆教授表示，下一阶段的研究可能是使用人工智能和机器学习复制该研究，以查看这是否对非标准错误率有任何影响。
声明
协调者感谢克努特和爱丽丝·瓦伦伯格基金会、玛丽安和马库斯·瓦伦伯格基金会、贾恩·瓦兰德和汤姆·赫德利乌斯基金会、FWF资助P29362、FWF资助SFB F63、瑞典国家银行基金资助P21-0168和荷兰研究机构-NWO grant-Vici的财政支持。
