Denodo何巍：数据虚拟化技术本质是数据民主化进程

文章详情

  2024年12月26日，一场备受瞩目的大数据行业盛会——“释放×数效应・共创智+未来”2024第七届金猿&魔方论坛——大数据产业高质量发展论坛暨数据要素趋势论坛，在上海明捷万丽酒店拉开帷幕。

  此次论坛由金猿组委会、数据猿、上海市数商协会及上海大数据联盟联合主办，新华社中国经济信息社作为支持单位，汇聚了来自政府、企业、学术界以及媒体界的数百位精英人士齐聚一堂，一同探讨大数据及数据要素产业充满无限可能的未来发展之路。

  会上，Denodo大中华区总裁、全球副总裁何巍在现场带来了一场为“数据虚拟化引领下一代数据管理技术”的主题演讲。他深入剖析了当前数据管理所面临的全新挑战，强调了数据编织作为全球最新的数据架构设计趋势的重要性，以及数据虚拟化技术在其中所展现出的巨大价值。这一技术不仅仅可以大幅度缩短数据链路，让数据以更快的速度产生价值，还能极大地提升整合未知数据源的能力。

  Denodo（丹诺德软件，下称“Denodo”）成立于1999年，至今已有25年发展历史，它是一家来自西班牙的科技公司，于2019年12月进入中国，大中华区总部在北京市朝阳区。

  自成立以来，Denodo长期专注于数据集成、管理和交付，可以帮助企业整合来自不同系统和设备的数据，打破数据孤岛，为公司可以提供统一的数据视图，以此来实现更高效的数据利用和决策支持。

  公司的核心产品Denodo平台，通过创建逻辑抽象层，对数据来进行封装、打包，屏蔽了分布式数据环境的底层复杂性，为公司可以提供可信、可用、易于理解的数据服务，提升了企业的数据管理和分析效率。Denodo凭借其专业的数据集成、管理和交付能力，服务于全球众多大规模的公司，目前已覆盖了上千家客户，这中间还包括各大主要行业的众多财富500强和全球2000强企业，其客户群体遍布全球，在20个国家设有25个办事处，连续5年被评为Gartner®魔力象限™数据集成工具领导者。

  会上，Denodo大中华区总裁、全球副总裁何巍在现场带来了一场为“数据虚拟化引领下一代数据管理技术”的主题演讲。

  何巍提到，相较于过去，今天的数据管理更难了。“以前数据管理相对简单，绝大多数都是一个应用对应一个数据源编写，即针对一个数据库来开发应用。然而，如今的数据管理则复杂得多，企业在编写应用时，往往需要面对多元的数据源，这一些数据源有的属于企业自身，有的则来自外部；有的位于中国，有的则在海外。很多的数据源，是在企业漫长的发展过程中逐步建立起来的，其技术路线各不一样，目前我们是面向批处理的管理模式。”

  正因如此，数据集成成为企业当下耗费大量时间和人力的工作，也是所谓的“人找数”，即先找到所需的数据，再将其集成起来提供给应用开发商。

  何巍提到，目前他们提出了新的解决方案，与过去30年技术路线年的技术路线，无论是称为数据仓库，还是如今的数据湖，不管其是建在本地还是云端，其核心观点都是先进行数据的集中集成。而数据编织作为未来5-10年数据管理领域的重点趋势之一，已连续四年被Gartner列为重点趋势，且成为了全球最新的数据架构设计趋势。他谈到，Denodo所提倡的数据虚拟化技术，正是实现数据编织的重要手段。

  实际上，数据虚拟化技术是一种数据管理的方法，旨在通过创建一个抽象层，使得不同来源和格式的数据能够被统一访问和管理而无需实际迁移或复制数据。这种技术使得用户都能够在不考虑数据存储位置的情况下，直接查询和使用数据，来提升了数据访问的灵活性和效率。

  何巍以房屋比喻阐释技术原理。他举例说，比如我们面对一个大客户，这个客户家里拥有很多房子，数据存放在不同地方、以不同技术路线年的方式是，为了管理这10个房子里的数据，会要求客户再建第11个房子来集中管理数据，这个房子最初建在客户的机房，后来建到了云上，从最初只能存放某些结构化数据，到后来各种数据都可存放，但总体而言，这仍是一种数据提前复制的集中管理方式。

  换而言之，我通过一个软件，能够告知用户所需数据存于哪个房子的具置，在真正使用时，让软件帮助找到该位置。这样一来，便取代了数据提前全量复制的方式，这是一个根本性的改变。”

  第一个是连接，英文叫Connect，也就是说，这样的产品必须得能连接世界上所有的数据源。换句话说，如果现在需要一款软件，帮忙找这房子里的东西，它必须得能真正连上你所有的房子，不管房子在哪儿，不管房子是怎么盖起来的，不管房子在云上，还是在本地，连接是核心，这件事说得很轻松，两个字——连接，但实际上最耗时的工程化要求最高的就是连接。

  公司的产品实际上要避免的是，在不同的使用者之间，大家不停复制数据，不停通过人工去做数据集成，造成数据集成工作越来越庞大，越来越混乱。

  不过，即便只是目录页，对于很多我们所面向的企业而言，也依然有一定的问题。它们的目录往往很繁杂、体量庞大，在查询时非常有必要来优化。这就涉及到了橙色和红色标记，它们有啥作业呢？其实是借助以往的查询轨迹、个人历史查阅习惯，再结合缓存技术，来优化目录的查询流程。这里要特别强调的是，整一个完整的过程中数据本身并没发生移动，书原本在哪里，现在还在哪里，我们仅是撷取了书的目录页。当需要查找某本书里的详细的细节内容时，依然是回到那本书原本的物理存放位置去获取信息。所以，我们这项技术，有时候大家简单将其概括为一种无需移动数据，就能实现数据管理或者数据集成的方法。

  公司与一家国内大型车企合作，在这家整车厂，为了尽最大可能避免工人在装卸货物时出现不及时或遗漏的情况，车间采用了Denodo的数字化管理软件，对工人的操作做全面监控和管理。关键绩效指标（KPI）之一是一次性扣料成功率，即在装卸过程中工人能够一次性准确完成所有指定任务的比例。这一个项目旨在提升其业务敏捷性，实现数据自治与数据民主。

  通过实施Denodo的解决方案，该企业在装卸流程中明显提高了一次性扣料成功率，减少了因操作错误导致的材料和时间浪费，以此来降低了生产所带来的成本。据统计，过去因错误操作造成的直接和间接经济损失接近千万元。Denodo的软件不仅确保了每个生产环节的准确性，还提升了最终产品的质量，增强了客户满意程度。此外，快速完成异构数据的分析处理，使得业务智能（BI）的敏捷交付时间整体减少了30%到50%。

  第二点，正如前文所提到的整合未知数据源的能力。实际上，如今每个企业都面临着这样的问题：当开展一项新业务时，往往没有与之相配套的数据能力，也不清楚新业务究竟要哪一些数据支持。在这种情况下，要求老板将所有数据拷贝给自己，大概率是没办法实现的。而数据虚拟化技术提供了一种相对灵活的方法，让企业在业务尚不明确时，通过虚拟化先将数据连接起来。

  他提到，随技术的持续发展，各类技能的门槛会逐渐降低，相应的使用人群也会逐步扩大。而当到达一定的交叉点后，这种技能便会成为一种基本的素养要求。

  那么数据虚拟化技术究竟是什么呢？何巍认为，它是一款低代码化的数据集成工具。就像大家都知道的，工具的出现极大地降低了技术普及的成本。回忆过去没有个人电脑和手机的时代，计算和通信都非常不便，常常要专业人员的协助，例如在大学时，人们一定要通过传达室老大爷开门才能打电话，这无疑体现了当时的高成本。然而现在，有了工具，只需拿起手机就能轻易解决通信问题。数据集成也是如此，倘若没有低代码化的工具，数据集成将会成本高昂，且对专业性的要求也会极高。