算法中的偏见能帮助我们看到自己的偏见吗？
算法本应让我们的生活更轻松、更公平：帮助我们找到最好的求职者，帮助法官公正地评估保释和保证金决定的风险，并确保为最需要的患者提供医疗服务。 但到目前为止，我们知道算法可能与它们通知和取代的人类决策者一样存在偏见。
如果这不是一件坏事怎么办？
波士顿大学奎斯特罗姆商学院营销学教授、埃弗雷特·W·洛德杰出学者凯里·莫威奇 (Carey Morewedge) 的新研究发现，人们在算法决策中比在自己决策中更能意识到自己的偏见——即使这些决策是基于算法决策的。相同。 这项发表在《美国国家科学院院刊》上的研究提出了意识可以帮助人类决策者认识并纠正他们的偏见的方法。
“一个社会问题是，算法会学习，并大规模地消除它们所接受的人类决策中的偏见，”兼任 Questrom 营销部门负责人的 Morewedge 说。 例如：2015 年，亚马逊测试了（但很快就废弃了）一种算法来帮助其招聘经理筛选求职者。 他们发现，该项目提升了它认为来自男性申请者的简历，并降低了女性申请者的简历，这是一个明显的性别偏见案例。
但同年，亚马逊员工中只有 39% 是女性。 如果该算法是根据亚马逊现有的招聘数据进行训练的，那么它会优先考虑男性求职者也就不足为奇了——亚马逊已经这样做了。 莫尔威奇说，如果它的算法存在性别偏见，“那是因为亚马逊的经理在招聘决策上存在偏见”。
“算法可以编纂和放大人类偏见，但算法也揭示了我们社会的结构性偏见，”他说。 “许多偏见无法在个人层面上观察到。例如，在单个招聘决策中很难证明偏见。但是，当我们将个人内部和个人之间的决策相加时，就像我们在构建算法时所做的那样，它可以揭示以下方面的结构性偏见：我们的系统和组织。”
莫韦奇和他的合作者——荷兰伊拉斯姆斯大学的贝古姆·切利克图坦（Begüm Çeliktutan）和罗曼·卡达里奥（Romain Cadario）设计了一系列实验，旨在消除人们的社会偏见（包括种族主义、性别歧视和年龄歧视）。 然后，该团队将研究参与者对这些偏见如何影响他们自己的决策的认识与算法做出的决策进行了比较。 在实验中，参与者有时会看到真实算法的决策。 但有一个问题：其他时候，算法做出的决定实际上是参与者的选择，只是变相的。
总的来说，参与者更有可能在他们认为来自算法的决策中看到偏见，而不是在他们自己的决策中。 参与者还发现算法决策中存在与其他人决策中一样的偏见。 （人们通常能更好地识别他人的偏见，而不是自己的偏见，这种现象称为偏见盲点。）参与者也更有可能在事后纠正这些决策中的偏见，这是未来最小化偏见的关键一步。
算法消除偏差盲点
研究人员对总共 6,000 多名参与者进行了九项实验。 首先，参与者对一组 Airbnb 房源进行评分，其中包括每个房源的一些信息：平均星级（1 到 5 级）和房东的姓名。 该论文称，研究人员根据之前识别种族偏见的研究，将这些虚构的列表分配给了名字“明显是非裔美国人或白人”的主机。 参与者评估了他们租用每个房源的可能性。
在实验的后半部分，参与者被告知一项研究发现，该发现解释了主持人的种族可能如何影响收视率。 然后，研究人员向参与者展示了一组评级，并要求他们评估（按 1 到 7 的等级）偏见影响评级的可能性有多大。
参与者看到的要么是他们自己的评分反映在他们身上，要么是他们自己在算法的幌子下的评分，他们自己在别人的幌子下的评分，或者是基于他们的偏好的实际算法评分。
研究人员多次重复这一设置，测试 Lyft 司机和 Airbnb 房东个人资料中的种族、性别、年龄和吸引力偏见。 每次，结果都是一致的。 那些认为自己看到了某个算法的评分或其他人的评分（无论实际上是否如此）的参与者更有可能察觉到结果存在偏差。
莫尔韦奇将此归因于我们用来评估他人偏见和我们自己偏见的不同证据。 他说，由于我们深入了解自己的思维过程，因此我们更有可能追溯我们的思维并确定它没有偏见，也许是受到我们决策中的其他一些因素的驱动。 然而，在分析其他人的决定时，我们只需判断结果即可。
“假设您正在为一场活动组织一个演讲小组，”莫尔威奇说。 “如果所有这些演讲者都是男性，你可能会说结果不是性别偏见的结果，因为当你邀请这些演讲者时你甚至没有考虑性别。但如果你参加这个活动并看到一个由所有演讲者组成的小组-男性演讲者，你更有可能得出这样的结论：选择中存在性别偏见。”
事实上，在一项实验中，研究人员发现，更容易出现这种偏见盲点的参与者也更有可能在算法或其他人的决策中看到偏见，而不是在自己的决策中。 在另一项实验中，他们发现，与种族等偏见相比，人们更容易看到自己的决定受到相当中立或合理的因素（例如 Airbnb 房东的星级评级）的影响——也许是因为承认更喜欢五星级莫尔威奇表示，明星出租不会对一个人的自我意识或他人对我们的看法构成威胁。
算法作为镜子：看到并纠正人类偏见
在研究人员的最终实验中，他们让参与者有机会纠正他们的评分或算法评分（真实或虚假）中的偏差。 人们更有可能纠正算法的决策，这减少了评级的实际偏差。
他说，这对莫尔威奇和他的同事来说是至关重要的一步。 对于任何有动力减少偏见的人来说，能够看到它是第一步。 他们的研究提供了证据，证明算法可以用作镜子——一种识别偏见的方法，即使人们自己看不到它。
“目前，我认为有关算法偏差的文献很黯淡，”莫威奇说。 “很多人都说我们需要开发统计方法来减少算法中的偏见。但问题的一部分在于偏见来自于人。我们应该努力让算法变得更好，但我们也应该努力让自己减少偏见。
“这项工作的令人兴奋之处在于，它表明算法可以编纂或放大人类偏见，但算法也可以成为帮助人们更好地认识自己的偏见并纠正它们的工具，”他说。 “算法是一把双刃剑。它们可以成为放大我们最坏倾向的工具。而算法可以成为帮助我们改善自己的工具。”