数据工程需要人 + 机融合
快速阅读: 据《福布斯》最新报道，9岁男孩乔希成为英国首位使用i-limb量子仿生手的人。数据工程需人机协同，未来将更紧密。欧盟数据经济预计超8000亿欧元，数据管理至关重要。保护数据安全和质量是数据工程成功的关键。
苏格兰利文斯顿 – 2015年8月21日：来自达戈提湾的9岁男孩乔希·卡特雷奇展示他对即将完成的新仿生手适配的兴奋之情……更多内容。
2015年8月21日，乔希·卡特雷奇在触觉生物公司位于苏格兰利文斯顿的总部完成了新仿生手的最终适配。乔希出生时右臂从肘部以下缺失，他成为英国首位接受i-limb量子仿生手的人，同时也是佩戴触觉生物公司先进假肢设备中最年轻的用户。这款i-limb量子仿生手通过穿戴者的肌肉信号进行控制，是首款能通过简单手势改变握力的假肢手。（照片来源：马克·鲁纳克尔斯/盖蒂图片社）
盖蒂图片社
自动化无处不在。我们正处于一场扩展自动化革命的关键节点，基本的机器人流程自动化（用于捕捉我们的点击和交互并加速基于表单的应用程序交互的软件“机器人”）现在看起来像是一种过时的遗留技术，属于现代人工智能之前的年代。随着我们正在正式制定和编码自动化的新阶段，其机制将源自数据工程，即软件开发人员用来在平台层面、网络层面以及向上到应用程序层面本身优雅地协调我们的IT服务的做法、方法论和实施技术。
然而，数据工程并非一蹴而就。在这个领域管理数据机制以支持智能云原生应用提出了重大挑战，包括与数据复制、验证和管理相关的任务。这些是需要一定程度人工监管的数据自动化任务；自动化虽已普及，但需要人类与机器（AI）工具集协同合作才能有效且安全地实现。
欧盟委员会估计，到2025年底，欧盟的数据经济价值预计将超过8000亿欧元。类似的增长预测也适用于美国市场，预计到2025年将产生约180泽字节的数据，其价值显然将达到数十亿美元。所有这些都意味着，作为更广泛的公司数据运营战略（现在广泛称为DataOps）的一部分，数据工程对业务创新和商业增长至关重要。
“在这一层级进行数据工程并克服该实践固有的挑战，关键在于人类与机器协同的力量，”GTT产品工程高级副总裁加里·西杜说道。“利用人类数据工程师和AI之间的协同效应对于实现最佳数据工程至关重要，这种工程是在严格的纪律数据管理实践中进行的。无论技术栈多么先进，它都无法单独提供高性能的数据工程功能；人类同样重要，甚至更为关键，因为他们设定标准并确保监督。”
更多内容…
谷歌确认Gmail升级——30亿用户必须现在做出决定。FBI警告称iPhone和Android用户正受到中国攻击的轰炸。乌克兰周围有一些老式的苏联空战导弹；现在它正在从每个可用的发射器上发射它们。
西杜基于他在一家电信公司工作的二十年经验和他目前在GTT的任期发表评论，GTT是一个以其Envision编排和控制平台闻名的组织，该平台旨在连接人、数据和机器。他说，数据工程的一个大障碍出现在企业内部不同来源之间如何整合数据存在差距时，尤其是在公司快速扩展的情况下。
优先、同步、操作化
例如，假设由于非有机增长，一家企业拥有多个客户关系管理、库存和订单管理系统实例。缺乏连接数据系统的操作可见性和纪律会导致数据碎片化，并阻碍实现统一客户视图的能力。这些问题可能导致生产力和创新能力下降……进而导致糟糕的客户和员工体验，”西杜说。“为了生成统一的知识景观，数据和IT团队需要对数据操作有完全的可见性。公司应优先考虑数据集成，并确保所有系统连接和同步。”
这里建议的是，创建一个中央信息管理枢纽可以帮助将混乱的数据实践转变为更加精简和增强的体验。枢纽可以集成来自各种系统的数据，并通过将数据集中到单一存储库中，公司可以消除冗余、减少错误，并确保所有利益相关者都能访问最准确和最新的信息。中央枢纽还提高了数据检索的速度和效率。
跨组织纪律
在这个人类+机器层面的成功数据工程计划严重依赖于组织纪律。这取决于人类开发人员、合规经理和数据工程师设计、沟通和执行数据治理政策。这不是一件容易的事，在这里自动化可以进来并支持人类的努力。特别是在工程清单涉及淘汰过时系统、将数据整合到单一存储库中并确保所有数据被准确分类和索引时尤其如此。
组织纪律也意味着要有明确的数据战略，并确保所有员工理解和遵循数据管理的最佳实践。这包括定期提供有关数据治理的培训和教育，以及从一开始就为数据管理建立明确的角色和职责。
“通过在从安全到合规及人力资源的跨职能团队中培养数据纪律文化，公司可以确保其数据工程计划具有可持续性。跨团队的功能在此方面至关重要，因为每位员工所具备的嵌入式业务知识，加上不同部门和角色之间的协作，增强了数据工程项目的整体有效性，”西杜解释道。“通过跨不同团队整合资源并运用自动化，组织还可以确保其数据工程流程强大、安全，并能够支持其业务目标。”
保护数据工程
由于数据对任何业务运营都至关重要，因此从核心到“边缘”的数据传输安全至关重要。保护数据连接也维持了任何数据工程计划背后的高度数据质量和完整性。现代API管理对于维护数据安全至关重要，因为API在保护工程生命周期中起着至关重要的作用。通过实施强大的API网关并强制执行严格的访问管理和控制策略，公司可以保护其数据资产并促进数据集成的无缝进行。
“当我们考虑超越API时，数据工程计划还依赖于网络和应用程序的安全保障，因为数据在从一个环境传递到另一个环境时经过这些。这对IT安全团队来说又增加了一层复杂性，他们需要确保关键漏洞被补丁并满足数据合规需求，”西杜强调。
网络虚拟化能力的增长正在帮助简化通往最佳实践的道路，例如零信任框架。分析公司Omdia的研究表明，企业在考虑接下来要优先考虑哪些网络功能时，倾向于优先考虑安全性，其中安全访问和安全应用（如日志记录、身份验证、威胁检测和分析）位居虚拟化在未来几年的用例列表之首。
人类+机器的未来展望
未来，人类数据工程师和AI之间的合作肯定会更加紧密。西杜总结了他的评论说：“人类数据工程师可以设计和实施稳健的数据治理框架，确保数据在整个业务中被准确分类、索引和维护……但AI可以随后自动化这些框架的执行，实时监控数据质量和合规性，并标记需要人类注意的地方。”
“做对了可以提升员工和客户的生产力，通过提供预测性见解并实现更高程度的自助服务。通过创建一个安全的统一数据管理中心，公司可以克服数据重复、验证和管理的常见难题，”西杜说。
这不是一个反复出现的主题吗？机器可以为我们工作，AI可以改善我们的生活，但我们人类仍然掌控一切，我们将人和技术服务的工作结合得越紧密，从长远来看，我们可以期待收获更精确设计的好处。仿生学当然解释了连接自然系统与技术工程的跨学科领域，这就是这里发生的事情的一部分。史蒂夫·奥斯汀会为我们感到自豪的。演员李·梅杰斯在他的电视节目《百万美元男人》的一场戏中坐在汽车里。贝特曼档案馆
(以上内容均由Ai生成)
