概率机器学习方法正在成为数据分析中越来越强大的工具，为跨学科和应用的一系列关键决策提供信息，从预测选举结果到预测小额贷款对解决贫困问题的影响。

这类方法使用概率论中的复杂概念来处理决策中的不确定性。但数学只是确定其准确性和有效性的难题之一。在典型的数据分析中，研究人员做出许多主观选择，或者可能引入人为错误，也必须对其进行评估，以培养用户对基于这些方法的决策质量的信任。

为了解决这个问题，麻省理工学院计算机科学家Tamara Broderick，电气工程与计算机科学系(EECS)副教授，信息与决策系统实验室(LIDS)的成员，以及一组研究人员开发了一个分类系统 - “信任分类法” - 定义了数据分析中信任可能崩溃的位置，并确定在每一步加强信任的策略。该项目的其他研究人员是肯塔基大学的Anna Smith教授，哥伦比亚大学的Tian Zheng教授和Andrew Gelman教授以及伦敦经济学院的Rachael Mageger教授。该团队希望突出已经充分研究的问题和需要更多关注的问题。

在二月份发表在《科学进展》(Science Advances)上的论文中，研究人员首先详细介绍了数据分析过程中信任可能破裂的步骤：分析师选择收集哪些数据，以及哪些模型或数学表示最能反映他们想要回答的现实生活中的问题或问题。他们选择算法来拟合模型，并使用代码来运行这些算法。这些步骤中的每一个都对建立信任提出了独特的挑战。某些组件可以通过可测量的方式检查其准确性。例如，“我的代码有错误吗?”是一个可以根据客观标准进行测试的问题。其他时候，问题更主观，没有明确的答案;分析师面临着许多策略来收集数据并确定模型是否反映现实世界。

“我认为制作这个分类法的好处是，它确实突出了人们关注的地方。我认为很多研究自然而然地集中在'我的算法是否解决了特定的数学问题?'这一层面，部分原因是它非常客观，即使这是一个难题，“布罗德里克说。

“我认为很难回答'以某种方式将一个重要的应用问题数学化是否合理?'因为它以某种方式进入了一个更难的空间，它不再只是一个数学问题。

在模型中捕捉真实生活

研究人员对信任崩溃的地方进行分类的工作，虽然看起来很抽象，但植根于现实世界的应用。

该论文的合著者Meager分析了小额信贷是否可以在社区中产生积极影响。该项目成为信任可能崩溃的案例研究，以及降低这种风险的方法。

乍一看，衡量小额信贷的影响似乎是一项简单的工作。但与任何分析一样，研究人员在过程中的每一步都会遇到挑战，这些挑战可能会影响对结果的信任。小额信贷 - 个人或小企业获得小额贷款和其他金融服务以代替传统银行业务 - 可以根据计划提供不同的服务。为了进行分析，Meager 从包括墨西哥、蒙古、波斯尼亚和菲律宾在内的全球各国的小额信贷项目中收集了数据集。

在组合明显不同的数据集时，在这种情况下，来自多个国家和不同文化和地理区域，研究人员必须评估特定的案例研究是否可以反映更广泛的趋势。将手头的数据置于上下文中也很重要。例如，在墨西哥农村地区，拥有山羊可能被视为一项投资。

“很难衡量一个人的生活质量。人们衡量诸如“小企业的商业利润是多少?”或“家庭的消费水平是多少?”之类的东西。你最终真正关心的东西和你正在测量的东西之间可能存在不匹配，“布罗德里克说。“在我们进入数学水平之前，我们依靠什么数据和假设?”

有了手头的数据，分析师必须定义他们想要回答的现实世界问题。在评估小额供资的好处时，分析人员必须确定他们认为积极的结果。例如，在引入小额信贷计划的社区中，衡量每家企业的平均财务收益是经济学的标准。但是，报告平均值可能表明即使只有少数人(甚至一个人)受益，而不是整个社区受益，也会产生净积极影响。

“你真正想要的是很多人受益，”布罗德里克说。“听起来很简单。我们为什么不衡量我们关心的事情?但我认为从业者使用标准机器学习工具真的很普遍，原因有很多。这些工具可能会报告一个并不总是与兴趣数量一致的代理。

分析师可能会有意识或下意识地偏爱他们熟悉的模型，尤其是在投入大量时间学习他们的来龙去脉之后。“有人可能会犹豫是否要尝试非标准方法，因为他们可能不太确定自己是否会正确使用它。或者同行评审可能倾向于某些熟悉的方法，即使研究人员可能喜欢使用非标准方法，“Broderick说。“从社会学角度来看，有很多原因。但这可能是信任的一个问题。