开源如何帮助消除企业中的数据孤岛 [Q&A]

历史上，数据已存储在孤岛中，以便提供快速解决方案。但从长远来看，孤岛可能会减慢决策速度，使修改系统更加困难，并妨碍遵守法规。

打破孤岛之间障碍的方法之一是允许数据在它们之间自由共享，而开源在这方面有很大的作用。我们采访了IBM Cognitive Applications的杰出工程师Mandy Chessell，以及最近当选的ODPi技术指导委员会负责人，以了解更多信息。

BN：目前的心态似乎是所有数据孤岛都不好，这是真的吗？

MC：数据孤岛不一定都是坏事，因为它们提供了关注点分离。 Silos随着企业的发展而出现，数据最终分布在支持其运营的众多系统中。孤岛中的数据通常中心化在拥有孤岛的组织的目标上。

例如，在孤岛中支持的查询类型是该组织最需要的查询类型。需要付出更多努力来优化数据孤岛以满足多个群体的需求。

可以更快地开发解决方案，同时绕过将应用程序生成的数据集成到现有数据存储中，而不是创建新的数据存储和孤岛 – 通过提取转换和加载工具将数据集成推迟到以后的时间。

但是，每个新的孤岛都会增加IT环境的整体复杂性，这使得更难以推动企业的战略变革并证明遵守法规。

BN：鉴于向大数据的转变不是孤岛不可避免的？

MC：是的，很难避免孤岛。人们只是试图及时完成工作，并且不能总是花时间研究更大的图景以及他们操纵或生成的数据如何与更大的实体管理的数据相适应。然而，组织希望为其员工提供高质量的数据，并使用高级分析和AI来改善决策制定。高质量的内容需要从位于组织系统内外的数据孤岛中获得一致且连贯的数据。

BN：企业如何改善数据流？

MC：组织需要帮助来理解，管理，合理化和发展他们的系统和数据。这需要一个集成且灵活的知识库来描述系统，它们如何链接在一起以及它们之间流动的数据。该知识库必须是自我管理的，并且可用于各种工具和技术。

为了确保企业内部数据的一致性和质量，各行业内部和各行业都出台了相关法规。元数据是这些法规的核心。它包含数据库模式，格式，语义信息，业务规则，所有权，沿袭，移动和使用。在整个机构中建立健全的元数据策略是改善数据流的关键 – 确保数据孤岛中尽可能多的数据在管理数据的工具中得到很好的描述，使用共享词汇表和商定的词汇表。描述数据格式和内容的元数据允许开发人员确定在新项目中使用哪个数据集。元数据使数据可以在创建它的应用程序和组织之外使用。作为奖励，描述数据业务环境的元数据使自动化治理流程得以应用，从而更容易证明遵守GDPR等计划。

BN：ODPi Egeria项目如何提供帮助？

MC：来自各种供应商的产品支持元数据，但是，它们今天不容易互操作。 ODPI Egeria通过定义跨多种异构工具共享元数据的方式来提供帮助。

如果您不了解ODPi Egeria的背景，2018年8月，IBM，ING，Hortonworks（现为Cloudera），SAS等创建了开源ODPi Egeria项目。为了支持不同技术和供应商产品之间的元数据自由流动，Egeria使组织能够跨孤岛更有效地定位，管理，治理和使用他们的数据。

在2019年1月，ODPi Egeria一致性套件变得可用，确保在其产品中提供ODPi Egeria的供应商提供一致的API和功能集，这样数据治理专业人员可以轻松构建企业范围的元数据目录，包含所有数据工具可以轻松利用。

IBM是ODPi Egeria项目的创始人和领导者，并将该技术整合到InfoSphere Information Governance Catalog等工具中。

通过使多个孤岛中使用的各种工具可以互操作并共享其元数据，Egeria正在帮助企业缩小数据孤岛差距。通过Egeria组织的元数据共享简化了数据在不同孤岛中的访问和集成。它还支持统一数据治理，并简化了数据法规遵从性的应用和演示。

BN：整合筒仓数据为企业带来了哪些好处？

MC：企业需要跨组织分析数据，原因有多种，包括GDPR以显示合规性。可以通过开放元数据接口相互集成的工具包括商业智能和数据可视化工具 – 他们可以利用元数据来定位合适的资产以生成报告和可视化，并将元数据和沿袭信息合并到其输出中。数据科学工具可以找到可用的数据集，并突出显示数据科学家尝试完成指定任务的可用性。 API工具使开发人员能够创建适合应用程序使用的接口。通过管理工具访问元数据，管理和词汇表工具受益匪浅 – 管理工具，通过检查元数据管理数据处理的差异，然后请求批准。

IBM在ODPi Egeria开源项目中的领导地位正在推动行业范围界面的定义，以便跨多种工具集成元数据，并正在创建一个社区来推动这些界面的采用。如上所述，开源活动考虑了公司跨筒仓创建可视化，在企业中定位数据集以训练AI系统等的需求。这些活动还结合了工具供应商的需求，以显示他们的软件以统一而非零碎的方式支持GDPR和其他合规计划，从而有助于发展数据行业。 ODPi Egeria社区的领导者包括ING和SAS以及IBM。

个人和机构可以加入Egeria项目，通过提供需求，分享专业知识，编码，测试以及将技术融入解决方案来塑造其未来。您可以加入该组并在ODPi站点上注册邮件列表。

图片来源：aslysun / Shutterstock