加入收藏 | 设为首页 | 会员中心 | 我要投稿 云计算网_宿迁站长网 (https://www.0527zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 服务器 > 系统 > 正文

云计算和大数据分析的系统架构方向,该怎么学习?

发布时间:2022-12-03 08:07:57 所属栏目:系统 来源:互联网
导读: 系统架构首先要掌握一些基础的架构设计原则,下面给介绍一下模块化云架构设计思路。
作为云服务商,我们经常需要面对客户IT系统上云的需求,中型以上的客户IT系统通常具有一定的复杂性,面

系统架构首先要掌握一些基础的架构设计原则,下面给介绍一下模块化云架构设计思路。

作为云服务商,我们经常需要面对客户IT系统上云的需求,中型以上的客户IT系统通常具有一定的复杂性,面对复杂的IT系统,我们怎样帮助客户实现IT系统的云迁移,以及在云端快速搭建客户复杂的IT架构?

现在排名靠前的云服务商,云端的服务组件已经达到了上百种,覆盖了计算资源、存储资源、网络服务、数据库服务、安全服务、中间件、运维监控服务等等,基本上主流的IT服务在云端都能够找到。这些云服务是基于云计算的自动化、快速开通和弹性扩容的特性,并给客户提供了自服务的控制台门户,让客户能够自主的在云端配置自己的IT系统。

如果我们把复杂的IT系统类比为结构精密复杂的自动机械手表,把云服务类比为手表内部精密的小部件,我们在云端使用云服务构建复杂IT系统,就好比机械手表的装配。机械手表每个小部件的连接设计的都很精巧,并按照精密的工序来装配。机械手表的这种部件化/模块化的装备模式,同样适用于在云端使用云服务模块构建复杂的IT系统。

云系统架构_阿里云系统架构_业务架构 系统架构 技术架构

大家知道,云计算主要分为公有云和私有云,我们先说一下私有云。

私有云本质上就是客户的IT基础设施虚拟化,其实还是一个ICT项目,依然需要从头开始搞IT系统建设,存在周期长、一次性投资大、运维维护成本高等问题。针对这些问题,各大云服务商、甚至一些第三方厂商,提出了私有云模块化构建思路,类比集装箱,称之为“云箱”。相比传统的ICT项目建设,具有以下特点:

所谓“云箱”就是由若干相互独立的模块构成,每个模块具备私有云数据中心的一个或多个系统功能,比如供电模块、管理模块、主机模块、对象存储模块、数据模块等等。这些即插即用的功能模块通过简单组装就能构成完整的数据中心。

阿里云系统架构_业务架构 系统架构 技术架构_云系统架构

华为/天翼云全栈专属FCS方案也是一种定制化、模块化的私有云建设方案,只是没有空间“箱体”的概念,能够满足客户私有云的各种建设需求。

我们重点聚焦在公有云的模块化架构设计。

我们需要把云端的服务组件抽象为一个个的图标云系统架构,便于我们做架构设计,阿里云供了大量丰富的云服务模块图标:

阿里云系统架构_业务架构 系统架构 技术架构_云系统架构

我们结合系统架构的演进来,运用模块化的架构设计思路,尝试用这些图标搭建从简单到复杂的IT系统。

一、架构初级阶段:万能的单机

即一台ECS服务器搞定一切。传统官网、论坛等应用,只需要一台ECS。对应的web服务器、数据库、静态文件资源等,部署到一台ECS上即可。一般5万pv到30万pv访问量,结合内核参数调优、web应用性能参数调优、数据库调优,基本上能够稳定的运行。

一般个人或者小微企业会采用这种单机方式上云。

业务架构 系统架构 技术架构_云系统架构_阿里云系统架构

二、分离架构:Web应用与RDS服务物理分离

当访问压力达到50万pv到100万pv的时候,部署在一台服务器上面的web应用及数据库等服务应用,会对服务器的CPU/内存/磁盘/带宽等系统资源进行竞争。显然单机已经出现性能瓶颈。我们将web应用和数据库物理分离单独部署,解决对应性能问题。这里的架构采用ECS+RDS物理分离的方式。

在云端,我们可以直接开通ECS和RDS模块,ECS通过TCP协议访问RDS数据库服务,如下图所示:

云系统架构_阿里云系统架构_业务架构 系统架构 技术架构

为了保证web应用与数据库服务的安全隔离,可以将web应用和RDS划分在不同的子网,子网之间ACL策略,限定端口访问,此时,我们需要通过VPC模块来划分子网、设置ACL访问策略。

阿里云系统架构_业务架构 系统架构 技术架构_云系统架构

3、应用集群架构:负载均衡+Web应用+RDS服务

当访问压力达到300万pv到500万pv的时候,虽然通过将web与rds物理分离的方式,有效的降低了请求的压力,但是当更大的PV流量出现的时候,单台服务器可能会出现访问堵塞、延迟、服务器进程增多、cpu100%,甚至出现常见502/503/504的错误码。显然单台web服务器已经满足不了需求,这里需要通过负载均衡技术增加多台web服务器(对应ECS可以选择不同可用区,进一步保障高可用)。因而告别单机的时代,转变分布式集群架构的阶段。

在云端,我们可以添加负载均衡器模块,开通多台Web应用服务器来满足更大PV访问量的需求。

云系统架构_阿里云系统架构_业务架构 系统架构 技术架构

后续随着PV压力的逐步提高,可以进一步增加以下云服务组件,搭建高可用、高负载的分布式的系统架构:

1、增加CDN服务,将静态页面、各类数据、音、视频文件缓存到边缘节点,满足客户就近访问的需求,同时也大大缓解了web应用服务的压力;

2、对于大量的动态访问数据库的请求,可以增加缓存服务模块(REDIS),将更多的静态数据缓存在内存里,大大缓解数据库查询的请求;

3、如果缓存服务也满足不了数据库查询的请求,可以增加只读数据库服务,实现读写分离。

以上是我们采用模块化的架构设计思路,按照系统架构的演进,在云端快速、灵活的构建系统,希望能够给大家启发。

关于系统架构的演进后面我们会专题讲解。

(编辑:云计算网_宿迁站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!