处理复杂的数据集成,你还在编写脚本吗?
数据并不单独存在于一个数据库、文件系统、数据湖或存储库中。在记录系统中创建的数据必须满足多种业务需求,与其他数据源相集成,然后才能在分析、面向客户的应用程序或内部工作流中使用。处理例子包括: 许多企业还拥有数据科学家、数的数据分析师和创新团队,他们越来越需要整合内部和外部数据源。开发预测模型的数据科学家通常会加载多个外部数据源,例如计量经济学、天气、人口普查和其他公共数据,然后将它们与内部数据源混合。进据集行人工智能试验的创新团队需要聚合大量且通常很复杂的数据源来训练和测试他们的算法。曾经在电子表格中执行分析的业务和数据分析师现在可能需要更复杂的工具来加载、加入和处理多个数据供给。 对于任何具有基本编程技能的人来说,将数据从源移动到目的地的最常见方法就是开发一个简短的脚本。代码从一个或多个源中提取数据,执行任何必要的数据验证和操作,并将其你还推送到一个或多个目标。 开发人员可以使用多种方法对点对点的数据集成进行编码,例如: 这些编码过程可以从多个源中提取数据,在将数据传送到目标数据源之前加入、筛选、清理、验写脚证和转换数据。 编写脚本可能是一种快速简便的数据移动方法,但它并不算是专业级的数据处理方法。生产级数据处理脚本需要自动执行处理和传输数据以及处理多个操作所需的步骤步骤。 例如,处理大本吗量数据的集成应该是多线程的,并且对有许多数据源的工作也需要可靠的数据验证和异常处理。如果需要有效的业务逻辑和数据转换,开发人员应该记录这些步骤或采取其他措施来确保这些集成是可以被处理观察到的。 支持这些操作需求的脚本编程并非易事。它要求开发人员预测数据集成可能出现的问题,并相应地进行编程。此外,在使用很多实验数据源时,开发自定义脚本可能并不划算。所以最后,数据集复杂成脚本通常难以在多个开发人员之间进行知识转移和维护。 出于这些原因,许多有数据集成需求的企业通常会寻找编程和编写数据流脚本之外的方法。 作者:Isaac Sacolick是StarCIO的总的数裁,也是亚马逊畅销书《推动数字化:通过技术实现业务转型的领导者指南》的作者。Sacolick是公认的顶级社交CIO和数字化转型影响者。他在InfoWorld.com、CIO.com据集、他的博客Social、Agile和Transformation以及其他网站上发表了700多篇文章。 原文网址:https://www.infoworld.com/article/3621成,992/why-you-need-a-data-integration-platform.html
- 最近发表
- 随机阅读
-
- 标签: 特斯拉 马斯克 特斯拉狙击 拒绝万亿富豪
- 云计算开发:Python内置函数-max()函数详解
- 标签: 钟慧娟 翰森 胡润女企业家榜 蓝思科技
- OpenAI 开放 Sora2视频工具,面向美国、加拿大、日本和韩国用户
- Salesforce瀹屾垚277浜跨編鍏冩敹璐璖lack浜ゆ槗 寰�蒋闈�复涓€涓�彲鎬曞�鎵�
- 每日互动大数据发布:2021年二季度5G手机报告
- 苹果重磅开源FastVLM与MobileCLIP2:85倍速度飙升,iPhone秒变AI神器!
- 亚马逊与苹果抛弃英特尔芯片 机算行业话语权或将转移
- 绉佹湁浜戝�鏁版嵁瀛樺偍鐜��鐨勫ソ澶�
- 商汤科技推出Claude API用户迁移计划 提供5000万Token免费体验
- 标签: 同花顺 300033 财报 2025年
- Firecrawl宣布下周开源AI就绪检查器,助力网站全面优化
- AI 数据中心需求激增,小型企业 Phononic 正寻求数十亿美元估值的出售
- 人工智能技术在抗击新冠肺炎疫情中大显身手
- 标签: 中芯国际 第三季度 营业收入 净利润
- 标签: 快手科技 快手应用 在线营销服务 电商
- AI 摘要与社交媒体双重夹击:维基百科人工流量骤降8% 敲响警钟
- 标签: 比亚迪
- 阿里云推出新一代动作生成模型 Wan2.2-Animate,全面开源!
- 标签: 淘宝闪购 淘宝便利店 盒马前置仓 天猫超市
- 搜索
-
- 友情链接