当大数据平台遇到K8s 智领云助力企业向数据驱动变型
发布时间：2022-06-30 01:18:24 所属栏目：资源 来源：互联网
导读：数据驱动是企业数字化转型的一个重要特点。随着企业对数据分析和使用的不断增长，数据来源多，数据工具复杂，参与数据工作的人多，数据开发的工作量越来越大，同时还要求周期短、质量高。对此，数据团队持续优化数据开发流程、应用，借鉴了DevOps、精益管
|
数据驱动是企业数字化转型的一个重要特点。随着企业对数据分析和使用的不断增长，数据来源多，数据工具复杂，参与数据工作的人多，数据开发的工作量越来越大，同时还要求周期短、质量高。对此，数据团队持续优化数据开发流程、应用，借鉴了DevOps、精益管理等方法，形成了DataOps方法和实践，旨在让数据在企业内快速流动，服务于数据分析甚至业务运营。 DataOps的概念最早出现于2014年，由Lenny Liebmann提出，到2018年被Gartner纳入到技术成熟度曲线，标志着DataOps正式被业界接受。 如果不好理解DataOps，不妨先看看Twitter的例子。Twitter是一家数据驱动型的公司，从2011年的300人，发展到2014年的4000人，大数据平台从80台服务器的Hadoop集群，扩展到8000台服务器的核心数据处理平台，它的底层支撑就是一个全局共享的大数据平台。当业务和组织快速扩张时，能做到统一数据规范、消除数据和应用孤岛。 与DevOps类似，DataOps要实现的是数据的持续集成、持续开发和持续部署。智领云联合创始人&CEO彭锋表示，要构建 DataOps 所需的通用平台，一般需要以下技术：云原生架构，容器，实时和流处理，多分析引擎，集成的应用程序和数据管理，多租户和安全性，DevOps 工具。 当然，DataOps的使用和发展也需要有正确的工具和正确的思维加持，借助平台及工具的力量来实现“数据、数据平台、DataOps”的成功。智领云自主研发的即开即用，快速搭建数据工程的轻量级云原生大数据开发平台--BDOS Online就是这样一个平台。 云原生解决传统大数据平台的痛点 BDOS Online是智领云自主研发的一款云原生Data Platform as a Service (DPaaS)产品，旨在为需要高效快速实现多源异构数据应用开发、发布，运维的企业级用户提供一个在线协同数据应用开发及运营平台。 BDOS Online 的底层是纯K8s云原生的，这是因为现有大数据平台及数据中台建设方式效率低，开发发布流程复杂，无法形成客户的自主数据能力，系统性能低下，容易造成数据孤岛，应用孤岛，云原生体系则可以解决这些痛点。 首先，纯K8s的数据平台，去除了对Hadoop的依赖，可以直接在K8s运行现有工作负载，统一资源管理，提升资源使用率，便于多租户计费管理，大幅降低运维成本。 第二，类似于K8s对于集群管理的改造，将数据流水线的运行改造成代码式管理，集成开发，一次编写，随处运行。 第三，在云原生架构下提供模块化的数据工程，以产品形式提供面向场景的解决方案，用户可以自助使用、分别购买，按使用量付费。 100%云原生改造之后的优势 据彭锋介绍，作为国内第一个K8s在线⼤数据平台，BDOS Online的核心优势有： 首先，BDOS Online是纯K8s的大数据平台，端到端的，以在线方式提供Serverless方式的大数据开发功能，用户面对的直接是大数据应用和开发工具，而不是底层大数据系统。比如，用户要运行一个Spark程序，他们看到的是Spark程序本身运行的情况，花费的资源是这个Spark程序所花费的资源，而无需安装一个完整的大数据平台，更无需考虑底层组件的运维管理。 第二，允许用户以数据工程方式管理数据应用开发，真正实现数据即产品（Data as a product）。无论是实时大屏，数据看板，数仓ETL，数据服务，机器学习模型，还是通用的Docker应用，BDOS Online允许用户在一个数据项目里集成开发和运行这些步骤，而不是散布在各个子系统中，最终数据能力可以方便的共享和复用。 第三，在K8s体系下实现了多租户，资源隔离，混合调度，精准计费这些在传统大数据体系下很难完成，但是对企业级数据平台至关重要的功能，其主要基础就是因为BDOS Online将所有的大数据组件做了K8s改造和系统继承，一个机构的所有应用，不管是Hive ETL程序，还是Spark 机器学习程序，都在同一个机构的命名空间中管理，便于设置用户资源限额以及使用情况。 不少厂商，包括云计算厂商，也在K8s和大数据方面做了很多工作，智领云的差异化在于BDOS Online将所有组建，都用K8s进行了改造，而不是改造一部分。同时，BDOS Online可以在线上直接使用，因为它完成了多租户，授权健全的打通，计费等功能。 中小企业和大型机构都适用的平台 彭锋表示，云原生大数据平台是一个基础架构的服务，并没有行业属性。使用BDOS Online的客户，在云上有两种云原生的方式。针对中小客户，或者大客户中的创新团队，他们不希望自己来管理一个复杂的大数据开发平台，但是有数据分析的需求，需要大数据业务开发的管理方式。这样的客户可以在公有云上直接使用BDOS Online。 针对内部已经有大数据平台，或者需要搭建大数据平台，但是需要提供更高效的数据应用开发能力的客户，希望能够把整个开发统一管理起来，然后与现有的集群混排一起使用，这也是BDOS Online的一个目标使用场景。不少大企业内部的大数据平台，因为缺乏多租户的隔离和统一的开发管理，以及统一的开发流程的管理，使得内部大数据的平台运维、运营、数据使用比较困难。在使用了BDOS Online这种纯云原生的大数据平台之后，可以直接使用K8s技术管理功能，大大降低了集群的运维、开发、使用成本。 结语 此前我们较为熟知的是，智领云BDOS产品，作为企业级大数据操作系统，以独特的优势，已经打造了包括零售、金融、物联网、医疗等多个行业的标杆案例。而BDOS Online作为BDOS的线上简化版本，本次采访我们了解到它更为强大的功能，几乎完全不需要借助其他工具平台，所有的工作都可以在BDOS Online线上完成，无需关心各种复杂的大数据组件，只需专注实现业务即可。 （编辑：云计算网_宿迁站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
站长推荐