数据隐私势在必行将推动仓库原生应用程序的采用

当今注重隐私的环境对企业数据处理基础设施提出了越来越大的挑战。

立法和消费者情绪的汇合正在迫使数字原住民和转型企业重塑其客户数据战略，将数据隐私嵌入其运营中。 作为回应，企业正在重新定位他们收集和处理客户数据的方式，以围绕同意、所有权和控制权进行优化。

在向数据团队提出新的技术挑战的同时，以数据隐私为中心的前景为云数据平台提供了巨大的市场机会，使仓库原生应用程序成为必要。 这些应用程序的数据处理发生在客户的云数据仓库中，而不是由应用程序摄取或存储。 除了为组织提供企业数据的单一真实来源之外，这些平台还提供了一个新兴的事实参考架构，用于在整个数据处理生命周期中大规模管理数据隐私。

仓库原生应用程序取代独立的垂直软件即服务解决方案的预期已经存在了一段时间。 数据平台本身在其应用层生态系统、工具和加速器上投入了大量资金。 同样，大量风险投资资金为支持这些应用程序的数据工具提供了资金。 然而，数据隐私已经证明是加速采用仓库原生应用程序的催化剂。

数据隐私：客户数据分析的摩擦

客户数据的使用通过支持支撑大部分数字经济的分析、个性化和建议，产生了深远的经济影响并取悦了消费者。 然而，数据创新者现在必须停下来重新思考他们的分析和机器学习策略。 不断增长的监管势头，涵盖欧盟的《通用数据保护条例》和《加利福尼亚消费者隐私法》等，再加上引人注目的罚款，使得第三方跟踪和交易所客户数据的做法在未来变得站不住脚。

消费者不信任的增加加剧了立法障碍。 在 Apple 的 App Tracking Transparency 计划中引入同意管理框架后，全球四分之三的 Apple 设备用户选择不共享他们的个人数据。 预计无法跨应用程序跟踪消费者将使 Facebook 的母公司 Meta Platforms Inc. 在 2022 年下半年失去 100 亿美元的广告收入。

数据隐私实践：许可、所有权和控制

为了提供有竞争力的客户数据分析，创新者将他们的数据战略中心化在与客户数据相关的许可、所有权和控制等治理支柱上。 在操作上，组织正在加倍制定大量政策来支持大规模的治理。 它们包括在透明和客户同意的情况下有意创建的零方和第一方数据，所有客户数据的专有所有权以维护其隐私的责任，以及对客户数据所在位置的完全控制，以及可以访问它的人以及它持续的时间。

用于管理数据隐私的参考架构

欧洲的 GDPR 规定了个人的“被遗忘权”，根据要求，组织有 30 到 90 天的时间完全删除客户的数据。 收集客户数据的组织被视为“控制者”，负责合规。 然而，如果没有一个整体工具集来管理数据如何分类、匿名化、删除和保存以供审计，数据控制者的义务在大规模上是不可行的。

使用企业 SaaS 应用程序作为客户数据的第三方“处理器”最能说明这一挑战。 通过将客户数据传输给作为处理方的第三方来放弃控制权的组织放弃了在整个数据处理生命周期中为数据隐私提供保障的能力。 最明显的是，奥地利、法国、荷兰、意大利和丹麦的数据监管机构裁定 Google Analytics 使用的数据加密货币和匿名化措施不足。

作为客户数据的替代处理器，云数据平台正在激烈竞争，以定位数据隐私参考架构和工具，以帮助数据控制者实现大规模的数据治理。 这包括在数据持久存在的仓库之上构建本地应用程序，以减少客户数据向第三方应用程序和合作伙伴的传输和复制——而不会扼杀分析输出。

数据隐私参考架构的核心原则是在仓库中引入数据洁净室。 这些服务提供了一个隐私保护的环境，多个参与者可以加入他们的第一方数据进行分析，而不会有将该数据暴露给其他参与者的风险。

支持数据隐私的仓库原生应用程序

虽然数据隐私参考架构的“拉动”对于仓库原生应用程序来说是一个引人注目的宣传，但越来越多的“推动”因素源于对将数据隐私控制权交给第三方 SaaS 应用程序的担忧和头条新闻。

行业评测中充斥着关于仓库原生应用程序将增强和升级独立 SaaS 应用程序的预测。 主要是基于性能的预测。 那些利用仓库平台的数据工程工具构建的应用程序应该为嵌入式分析和搜索提供更高的可靠性和处理速度。 早期的仓库原生应用程序群体已经出现在安全（使用安全信息和事件管理数据）、营销（使用客户关系管理）和产品（使用产品使用遥测）等数据密集型用例中。

然而，在当前注重隐私的环境中，大规模治理的必要性正在推动数据战略并加速对仓库原生应用程序的投资。

Conor Doyle 是 Atlantic Bridge Capital 的合伙人，投资于欧洲和美国的数据基础设施初创公司。 他为 SiliconANGLE 撰写了这篇文章。 图片：TheDigitalArtist/Pixabay