技术编程|快速实施现代化数据架构的五点建议 |

在如今这样“快鱼吃慢鱼”的市场环境中，那些数字化颠覆者往往能够利用AI算法、无服务器数据平台、以及不间断分析等创新技术，去彻底颠覆传统的业务模型。同时， Covid-19在全球范围内的大流行，也加速了企业数字化的快速转型，新的服务产品需求也应运而生。因此，为了保持竞争力和敏捷性，服务提供型企业必须迅速地在现有基础架构上，部署新的数据技术，以推动包括：个性化报价、实时警报、以及预测性维护在内的市场驱动型创新。

本文插图
不过，在实施从流式处理到数据湖(data lakes)分析的过程中，许多企业发现他们现有的数据架构存在着各种历史遗留问题，以至于无法有效地管理或正确地利用海量数据。因此，为了实现新功能的快速部署，并简化现有的架构方法，企业需要在不影响核心技术栈的情况下，转变或重塑现有的基础架构。下面，我们来具体讨论在此类转变的实施过程中，需要注意的五个方面。
1.转向基于云服务的平台
在对各种完全不同的数据架构进行转型的方面，云服务具有一定的根本性和彻底性。它为企业提供了一系列快速且可扩展的工具，以及竞争优势上的赋能。云服务能够让企业及时且大规模地获取、部署和运行新的数据架构平台和应用程序。
关键技术：无服务器的数据平台 – 此类平台使组织能够构建和运行以数据为中心的应用，在赋予无限可扩展能力的同时，消除了现场配置和管理的工作负载与麻烦，进而降低了成本的支出。这些技术易用性，主要体现在它们可以在数分钟内，而非过去的数周之内，实现部署。这样可以大幅减少了总体业务的运营开销。容器化数据解决方案 – Kubernetes技术不但能够使得企业解耦现有的业务、而且能够自动化其他数据存储系统的部署和计算力。据此，那些具有复杂设置的平台，仍然可以按需进行扩展，以满足业务的需求。
2.从批处理转移到实时处理
实时数据流功能为当前的各种业务应用提供了动力。例如：来自工厂车间的传感器，可以通过捕获到的实时数据，协助制造商去预测各类维护问题;保险公司可以根据来自智能设备的实时行为数据，去设置个性化的费率;消费者能以秒为单位，准确地跟踪从餐厅到家门口的订餐递送服务。由于云服务降低了数据和计算力的费用，也就大幅降低了实时数据消息在传输和交付上的成本，此类技术对于各种规模的企业都比较适用。
同时，实时流功能也能够让数据使用者订阅不同的“主题” ，以便不断地收到与真实需求相关的信息。通过将信息存储到数据湖中，我们还能够保留所有粒度的详细信息，被用于深入分析和趋势预测。
关键技术：消息传递平台 – 现代化消息传递平台能够提供可扩展、且具有容错能力的发布与订阅服务。与传统的、基于批处理的消息队列相比，此类消息传送平台每秒钟可以处理和存储数百万条消息。在降低成本的同时，它也减少了存储所占用的空间。流分析方案 – 此类系统不但能够实时、直接地分析消息，还能够将历史数据与当前消息进行比较，以通过趋势分析，来生成预测和建议。
3.从商用现货(Commercial Off the Shelf ， COTS)升级到定制解决方案
过去在软件选择性匮乏的时代，企业往往可以强势地通过提供COTS ，让用户被动地接受产品。如今随着个性化需求的增长，开发者不得不转向定制的、高度模块化的数据架构。他们可以从同类开源的组件中选用最受欢迎的一款，并且能够根据实际需求，在不破坏现有业务模式的情况下，进行升级和改造。
关键技术：基于API的接口 – 在以DevOps方式实施数据管道时， API接口可以让不同的独立团队免受那些无关的复杂因素的影响，进而减少了人为错误的可能性，并加快了产品的面市时间。与此同时，随着需求的变化，他们也能够轻松地更换各类组件。分析工作台 – 此类服务平台可实现在模块化组件(如：数据库和服务)之间进行端到端的通信。分页标题
4.解耦数据访问
通常情况下， API可以帮助我们解除数据访问时的耦合性问题，并能够通过封装，确保对数据进行直接访问和查看时的限制与安全。有了API ，我们不但能够实现对通用数据集的快速访问，而且方便了团队之间对于数据的重用，以及高效的无缝协作。
关键技术：API网关 – 您可以创建和发布以数据为中心的API ，进而实现访问控制，实施使用策略，以及衡量服务的性能。数据缓冲 – 许多组织都会用到某个数据平台，来缓冲核心系统外部的事务。该平台的实现方式既可以是针对每个团队预期工作负荷的一种数据湖，又可以是基于数据存储架构的一种存储库。
5.转向基于域的数据架构
【技术编程|快速实施现代化数据架构的五点建议】许多组织不再将所有的企业数据都存储在某个单一的位置，而是会过渡到基于域的架构中，将数据集的所有权转移给使用它们的业务职能团队。此举的好处不但可以让那些业务域的数据能够以一种面向消费的方式推送给用户，而且能够有效地应对不断变化的流动性需求，并遵守持续更新的法律法规。
关键技术：数据基础设施即平台 – 此类服务平台提供了用于存储和管理通用工具的功能。数据生产者能够快速地实现其数据需求，且无需自行构建平台。数据分类工具 – 此类工具可以在无需获取完全访问权限的情况下，对数据进行搜索和浏览。该工具的数据目录通常还提供了对于元数据的定义，简化的界面，以及可以从任何地方访问到数据资产。
如何实现现代化的数据架构
数据和技术领导者需要能够通过快速地评估和部署新的技术，以确保跟上现代化数据创新的步伐。目前，业界有如下三种技术准备与实践，可方便企业构建出数据转发型组织(data-forward organization)架构：对于组织而言， “测试和学习(test-and-learn)”是DevOps的敏捷实践方法。通过尝试不同的组件和概念，我们能够快速地确定出对于本组织行之有效的方法。 DataOps是DevOps针对数据的增强。它有助于加速新组件的设计、开发和部署，能够方便团队快速地实施变更，并按需更新方案与文档。确保获得高级管理层的支持，并致力于打造积极的数据文化(data-positive culture) 。据此，技术人员不但能够提高工作效率并简化准备流程，还能够确保数据策略与组织的业务目标相一致。
随着数据、分析、以及AI等元素被嵌入企业的日常运营之中，我们需要通过灵活的数据架构，以确保本组织在瞬息万变的市场中保持敏捷性、鲁棒性和竞争力。