数据是当今世界运转的一个重要要素。随着物联网和各种SaaS的兴起，我们几乎能收集到生活、工作、治理等各个方面的大量数据。数字化已然成为高效、便捷的标签，但在数据爆炸之后，管理这些海量的数据对企业却成为了一个巨大的挑战。同时，掌握巨量的数据之后，使用数据如何保证数据所有者的隐私安全，这也是越来越突出的难题。
近日，Aloudata发布了几款数据管理的新产品，以“NoETL”（无ETL）为主要优势特征，变革企业的数据驱动模式，打造全新的数据工程体系，以应对当前海量数据带来的管理难题。
ETL模式的局限
什么是ETL？ETL是抽取、转换、加载三个英文单词的缩写，这三个字母对应的词汇概括了传统的数据管理系统的典型特征。在管理层，透过这个系统看到的是一个个汇总的营收指标，这些闭环且稳定的指标帮助管理者做出一系列精确的决策。而在运营层，不同的团队和员工根据不同的工作场景会产生各种需求，都需要系统针对性做出调整。管理层和运营层的这种差别被Aloudata CEO周卫林总结为“看数需求”和“用数需求”。
两者的矛盾正是传统数字化管理系统和数智化运营系统的矛盾。看数需求通常比较固定和清晰，容易固化。而用数需求则充满不确定性，往往在使用的过程中才能明确需求。在周期上，管理层的需求一般按月交付，因为这些营收指标通常在一年中每个月周期性进行分析使用。而运营活动则通常是基于当天或当周的情况来进行。管理层的需求数量相对有限，而运营需求数量却几乎是无限的，会随着业务的不断发展和多样化，这些需求也在爆炸性增长。
在ETL模式下，每一个ETL的研发链路即一个Pipeline，每个Pipeline都代表着数据的搬运和处理过程。因为数据每天都需要更新，所以每个任务都意味着必须经历排期、研发、测试、上线发布等步骤。在数据链的末端，每个接口表或汇总表对应一个数据集，这些数据集必须是高性能的（Cube）。因为使用者查询性能的要求各不相同，尤其是当需求变得越来越动态时，这就导致了迫切的性能优化问题，从而影响整个链路的开发和优化。同时，在成本上，灵活性和高满足度意味着更高的成本和更低的边际收益。由于高频变化和人工研发过程，目录的人工维护变得极为困难，这导致数据管理的失效。
如何用数据编织做到NoETL
为了应对ETL模式的缺陷，这就引出了数据编织（Data Fabric）的意义。数据编织的意义就在于既然数据本来就存在某处，能否不搬运，直接找到并使用。首先将数据编织在一起，然后当人们需要数据时，只需从这个编织好的网络中提取所需数据，数据的具体位置和获取方式由系统自动处理。而要将之应用到具体的企业管理当中，要解决的问题是两个：
如何解决跨系统、跨平台的大量分散数据？
以什么样的交互方式交付给数据消费者？
Aloudata CPO肖裕洪详述了数据编织的实现路径。“首先，它需要一个增强的数据目录，类似于一个管理良好的数据市场。从‘人找数据’转变为‘数据找人’，主动将数据推荐给适合使用它的人。”肖裕洪说道。“其次，是虚拟的数据访问。这意味着数据不仅要被找到、理解，还要能够被访问和使用。第三是主动式的管理措施，需要有机制来下发相关的约束和政策，以保证在使用数据时的安全性和合规性。”
Aloudata的三款NoETL产品
周卫林介绍了基于NoETL理念设计出的三款Aloudata产品——Aloudata AIR、Aloudata CAN和Aloudata BIG。其中，Aloudata AIR是一个逻辑数据平台，主要负责多源异构数据的整合。Aloudata CAN是一个自动化指标平台，以自动化的方式实现指标的定义即生产。而Aloudata BIG则是一个能解析最精细数据血缘的主动元数据平台。
Aloudata AIR是国内首个基于Data Fabric架构的逻辑数据平台。在传统模式下，大量数据需要被搬运到数据湖和数据仓库中，这个过程效率低下，且部分数据因为各种原因无法集成。而Aloudata AIR实现了多源异构数据的虚拟化集成，无需物理搬运数据。通过自动化物化链路编排和智能查询下推技术，实现了自适应的查询加速，从而提高了处理效率。并具有多项企业级特性，例如强化了安全性，能显著提高效率，节约成本，同时减少ETL工程师的参与和开发成本。
传统指标平台将所有指标都在该平台上注册和管理，再由IT进行开发。Aloudata CAN自动化指标平台可以实现用户在平台上定义指标，系统自动进行指标开发，并通过标准化接口将指标交付给下游各种应用场景。这意味着定义即生产，定义即服务，无需额外的开发和发布工作。
Aloudata BIG是拥有算子级血缘解析能力的主动元数据平台。通过算子级血缘解析，看清楚线上SQL代码逻辑，从而实现真正实时、精准的数据理解和更高效的产品应用，可以实现很多自动化的操作。采用数据库解析器技术，对各种异构数据库代码进行解析，构建成一个高精度、完整的数据图谱，从而在企业数据模型治理、链路保障、综合安全合规检查等方面发挥巨大价值。
虽然Aloudata是一家仅有两年历史的新兴企业，但凭借着团队在阿里巴巴及蚂蚁集团的数字化工作经验，Aloudata的NoETL理念和相关产品仍然引领了新的数字化管理潮流，为整个行业带来一场深刻的变革，使数据处理更加高效、灵活，并为各行各业提供前所未有的数据管理能力。