金融部门必须拥有人工智能的透明度以确保公平
Rainbird首席运营官James Loft
最近有消息称，FCA正在与艾伦图灵研究所合作，探讨人工智能在金融服务中的可解释性，这是一个值得欢迎的发展。虽然金融机构越来越多地使用人工智能来提高效率和生产力，但所谓的神经网络如何做出决策几乎没有透明度，使组织面临不准确甚至欺诈性决策的风险。更糟糕的是，金融机构审计认可机构的错误决策要比审计人类决策要困难得多。
在探索如何使人工智能更加透明和可解释时，FCA需要解决一些问题，以减少整个金融部门不负责任的人工智能决策的威胁。
黑匣子问题
由于许多银行使用的神经网络在复杂的概率和相关性的基础上运行，而且除了数据科学家以外的任何人都无法理解，因此FCA面临着审计财务AI的艰巨任务。
正因为如此，神经网络创造了一个合法的“灰色区域”;如果金融机构提供的错误建议导致合并失败，那么可能很难说神经网络如何得出错误的决策。因此，FCA极难让金融机构对AI所犯的欺诈行为负责，因为神经网络可能包含一个未知的严重缺陷，导致组织无意中促成金融犯罪。
审计金融AI的难度与其所做决策的复杂性成正比增加;随着神经网络越来越多地负责从审计账户到预测欺诈的各个方面，他们的内部工作变得越来越不透明。 FCA可能难以获得管理AI的必要信息;人工智能决策过程背后的秘密通常是其知识产权的一部分，这使得公司不愿意将其置于外部审查之中。
数据卫生
金融机构使用的深度学习系统很难审核或理解，因为大多数组织缺乏必要的内部专业知识或“数据卫生”来有效地使用它们。
神经网络也无法在其“学习环境”的背景之外思考，因此神经网络只能与其训练的数据一样好。这意味着他们很容易从坏数据中继承偏见;如果一个组织的税务账户不完整或很差，那么AI可能会做出错误的税务决策。
金融机构使用的深度学习系统很难审核或理解，因为大多数组织缺乏必要的内部专业知识或“数据卫生”来有效地使用它们。
在非结构化客户数据上放弃的保险AI可能会决定金发女郎的欺诈风险较高，因为他们碰巧在欺诈案件样本中过多。
像保险这样的行业“数据卫生”很差，这意味着无人监管的“黑匣子”AI在海洋上散落的财务数据可能会造成严重错误，例如为了给客户提供更高的保险费或者出于虚假原因而更差的信用评级。
针对经过精心策划的财务数据培训的定价算法，可以“学会”避免价格战，导致组织由于“算法勾结”而无意中犯下了价格垄断罪。由于机器没有解释其决定并且组织没有意识到这一点，因此提出了FCA在这种情况下可以追究责任的问题。
审计审计
然而，根本问题在于，由于审计“深度学习”系统所需的专业知识，任何FCA对机器决策方式的调查都将极其昂贵和复杂。可能需要数周时间才能获得准确的决策路径，解释每个决策的制定方式和原因，即便如此，它仍然只有数据科学家能够理解的代码，因此需要额外的时间来考虑“翻译”。这些与人类有关。
正如我们所见，德意志银行最近雇佣了数千人在“全球洗衣店”丑闻之后审计其反洗钱（反ML）行动，审计人类的决定并非易事。如果该银行一直在审核深度学习的反ML系统，那么数据科学家需要花费数月才能完成相同的审计。
一些金融监管机构在审计过程中使用人工智能。然而，当AI负责审计AI决策时，这个问题变得更加严重，因为这会引发谁审核审核员的问题。
黑匣子到玻璃房子
我们在FCA调查结束时需要看到的是回归以人为中心的决策，但不是传统意义上的。我们需要通过将金融人工智能从黑匣子转变为根据人类逻辑运作的玻璃房子，将人类重新置于循环中。
由于认可机构将越来越多地帮助从会计师到欺诈预防团队的人力资源专业人士，因此他们的人类“同事”参与定制和审核是有道理的。唯一的答案是回归“基于规则”的AI系统，这些系统反映了人类的思维，因此可以由相关的主题专家进行配置和审核。
我们需要通过将金融人工智能从黑匣子转变为根据人类逻辑运作的玻璃房子，将人类重新置于循环中。
以人为中心，以规则为基础的认可机构将使人类能够审核他们所做的每一项决策，而无需进行外部审查，因为他们以人的方式解释他们的决策。使用以人为中心，以规则为基础的认可机构的金融机构将对决策过程有更多的了解。这使他们能够确保决策受到监管，并省略任何有偏见的数据或不准确，这意味着消除了歧视或不准确决策的威胁。
至关重要的是，基于规则的AI的人类决策思维导向过程也使得道德和合规的决策过程能够在整个金融部门中可视化和教授。金融经纪人工智能人员用“思维导图”训练来复制典型的交易决策可能会暴露不公平或不道德的交易行为。通过这种方式，算法问责制将导致更大的人为责任。
作为该领域的主要监管机构，FCA也应该在正在进行的AI使用监管中发挥重要作用。 FCA需要发挥积极作用，确保金融机构实施透明，可解释的解决方案。至关重要的是，他们需要确保在金融机构中使用人工智能的人真正了解他们正在使用的工具，并且尾巴不会摇摆不定。
请关注并喜欢我们：
