加入收藏 | 设为首页 | 会员中心 | 我要投稿 云计算网_宿迁站长网 (https://www.0527zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 服务器 > 搭建环境 > Linux > 正文

基于Linux集群系统研究与实现

发布时间:2022-12-03 14:34:06 所属栏目:Linux 来源:网络
导读: 重庆大学硕士论文中文摘要摘要计算机集群是随着分布式计算机系统而发展来的, 特别是近年来In te r n e t的出现, 对集群技术的要求越来越高。 集群是一种低成本的分布式计算机系统

重庆大学硕士论文中文摘要摘要计算机集群是随着分布式计算机系统而发展来的, 特别是近年来In te r n e t的出现, 对集群技术的要求越来越高。 集群是一种低成本的分布式计算机系统, 它由很多工作站或者P C 节点组成, 它能提供高可用性和高性能。 集群根据功能可分为高可用性集群、 负载平衡集群、 高性能集群。 集群系统对于软件和硬件的要求相对于普通的计算机来说有一定的差别, 特别集群需要在延时较低、 可靠性较高的网络系统能更好的工作。 集群系统相对其它计算机系统来说其关键技术在于:负载平衡技术、 进程放置和进程迁移技术、 集群文件系统。 集群技术有很多的解决方案, 大都是基于商业操作系统而设计的, 因此成本较高。 L in u x 操作系统是基于G P L 开放源代码的免费的操作系统, 从成本和技术来讲更容易实现集群系统。在国外对L in u x 的集群的研究正方兴未艾, 产生了较多的集群系统, 国内现在正处于起步阶段。 本文是结合重庆信息港建设的低成本高性能方案的一个重要组成方案, 研制出适合信息港建设的集群系统满足其低成本高性能的要求。本文首先从集群系统的基本方面入手分析了基本技术以及集群的关键技术。

然后对设计一个集群的软件和硬件进行了详细的分析, 特别是对集群的软件体系结构做了较深的研究。 由于单系统映像集群对用户来说容易操作而且在集群上的应用软件也交易于实现而成为今后集群系统设计的标准。 本文通过集群的软件和硬件进行了具体的研究以及单一系统映像集群的特征进行了分析, 设计了一个基于L in u x 的单一系统映像集群的软件系统模型。 负载平衡是集群系统设计的一个很重要的组成部分, 本文对负载平衡机制和负载平衡策略进行了研究, 常见的负载平衡算法有静态、 动态和自适应算法三类, 其中动态负载平衡算法具有较强的研究价值, 本文对动态负载平衡算法进行了较为深入的研究。 最后通过对L in u x虚拟服务器集群系统的五种负载平衡调度算法进行深入分析, 对其中一种算法进行了优化, 并且通过实验进行了验证。 在理论的基础上建立了一个基于L in u x 的集群系统的示范平台, 以对重庆信息港建设的高性能、 低成本的L in u x 建设方案其指导作用。关键词: 集群, L in u x , 负载平衡, 单一系统映像, 虚拟服务器重庆大学硕士论文英文摘要A b str a c tC o m p u te rc lu ste r isd e v e lo p in gw ith th ed istr ib u tin g C o m p u te r sy stem . S p ecia llyth e In tem et a c c e le r a te th ed e v e lo p m e n to f C lu ste r . C lu ste r is a lo w - c o stc o m p u te rsy stem , Itisb u ild u p b ym a n yw o r k sta tio n s o r P Cn o d es, It c a np r o v id eh ig ha v a ila b ilitya n dh ig h p erf o rm a n ce. T h eclu sterc a nd iv id e th er ec la ss: H ig ha v a ila b ilityclu ster, L o a db a n la n c e clu ster a n dH i曲p e r f o m a n c eclu ster. T h e so f tw a r e a n d h a r d w a r e o n clu stersystema r e d if f eren tinc o m m o nc o m p u te r sy ste m ,e sp e c ia llyth e th e clu ster n e e d lo wtim ed e la ya n dh ig h r elia b ility n etw o rk . T h ek e y tech n o lo g ies o f clu ster a r e : lo a db a n la n ce, p ro cesslo a d a n dp r o c e ss m o ving , filesystem . T h ereso tu stio n ,b u ta lm o st a ll b a se dc o n u u o c ia iO S , 也e ya r eh ig hc o st, L in u x is ao p e nf r e ea r e m a n y c lu ste rO S b a seG P L , it C a n e a sym a k e clu ster system . T h er e se a r c h o f L in u x clu ster isp r o sp e r ityin o v er sea s. b u tW ea r einb e g in n in g . T h isa r ticle isin teg r a te、 析t11 C h o n g Q in gin f o r m a tio ng u lf ,f o rr e se a r c h alo wc o sta n dh ig hperf o em a ncer eso lu tio n .T h is a rticlea n a ly sisth e b a sicte c h n iq u ea n dk e y te c h n iq u eo f clu ster. T hena n a ly sisso f tw a r ea n dh a r d w a r eind e sig n in gaclu ster集群linux,sp ecia llyth e so f tw a r esystem . T heS in g le Im a g e S y stemisp o p u la rclu ster it w ill b e a sta n d a r d o f clu ster. T h is a r ticler e se a r c hth e S S L a n dd e sig naL in u xS S I. L o a db a n la n ceis aim p o rta n tp a r to f clu ster ,th elo a db a n la n c eis d iv id e d th r e ecla ss: sta tic, d y n a m ica n dse lf - a d a p t. T h e d y n a m iclo a db a n la n ce h a s th e r e se a r c h v a lu e . T h is a r ticlea n a ly sisth ed y n a m iclo a da lg o rith m . Inth een d , a n a ly sis a lg o r ith mth e L V Sclu ster, a n dim p r o v eo n ea lg o r ith m .A t la st b u ild a c lu ste r d e m o n str a tio nsystem , the sy stemh a s th eg u id a n c ev a lu e o fC h o n g Q in gin f o r m a tio ng u lf .K e yw o rd s: clu ster,lin u x , sin g leim a g esystem , loadba n la n ce, v irtu a lse r v e rII重庆大学硕士学位论文l绪论1. 1前言1绪论1. 1. 1问题的提出计算机集群系统是一种多节点的计算机系统, 它是在8 0 年代中后期随着人们对于计算机技术的应用不断深入而产生的。

计算机集群系统是一种处于技术前沿计算机系统。 在集群的应用中, 集群的软硬件的可用性和可靠性、 高性能、 低成本就成为急需的解决问题。 L in u x 是开放源代码的操作系统, 易于实现集群系统,而且可能以较低的成本获得较高的性能。1. 1. 2研究意义研究基于L in u x 的集群系统具有很多意义, 可以从研究基于L in u x 的集群的系统体系结构, 研究基于L in u x 集群的基本原理和实现技术, 可以为相关部门提供基于L in u x 集群服务器系统的解决方案; 通过分析基于L in u x 集群的关键技术, 可以对开放源代码的集群服务器软件系统进行改进, 使其更加适合特定的需求; 通过对集群技术全面深刻的分析, 可以设计出自己的集群软件和硬件系统。 实际上,通过应用基于L in u x 的集群技术, 可以满足很多部门对于计算机集群的迫切需要;本文结合重庆市信息港建设中的低成本、 高性能的L in u x 项目进行研究, 可以建立低成本的、 高性能的计算集群, 在重庆市信息港以较低的成本获得较高的性能。1. 1. 3本文的研究目的和研究内容本文的其目的是为重庆市信息港建设探索出高性能、 低成本的关键技术、 鼹决方案、 示范平台, 其中集群技术就是其中一个较为主要的方面。

研究基于L in u x 的集群系统首先从研究集群系统的软件系统的结构, 硬件连接及接口技术, 以及集群在软件、 硬件上的实现技术; 另外, 集群系统的负载平衡、进程迁移、 以及集群范围的文件系统等等也是可以深入研究的问题。 实际上, 通过应用集群系统, 提出集群在各行业的解决方案和集群系统在应用上的改进技术,提出集群在各行业的解决方案。本文分析了构成集群系统的软件、 硬件构成技术; 对L in u x 单系统映像集群系统的软件系统模型进行设计; 深入的研究和分析了集群系统的负载平衡机制和负载平衡算法, 对L in u x 虚拟服务器的负载平衡算法进行了分析和改进。 在理论的基础上, 建立了基于L in u x 的集群系统的示范平台, 进行了验证和测试。重庆大学硕士学位论文1绪论1. 2集群技术概述在计算机发展史上, 计算模式被明显地分为具有特定应用领域的三个类型: 一是桌面工作站或P C s, 主要用于交互式工作; 二是采用对称多处理( sM P )结构的集中式计算服务器, 多用于计算集中或I/O 集中的批处理作业; 三是大规模并行处理机( M P P )应用于科学计算和大规模的并行处理任务中。

随着应用的不断深入, 用户对计算机性能提出了越来越高的需求, 但作为高性能服务器主流机型的S M P 结构的计算机, 在性能上受到C P U 数量、 主存和总线带宽的严重制约, 而可扩展性好的M P P则存在使用困难、 支撑软件少、 应用领域窄等问题。 为此, 国际上兴起了研制工作站集群( N O W )系统和结合M P P 技术及S M P 技术的高性能群机系统的热潮, 这种系统( 通称为clu ster )充分利用网络及单机性能优势, 逐渐模糊了上述三种模式的界线,几乎可以满足所有三种应用领域的要求, 从而成为高性能计算机体系结构的发展趋势。特别是, 随着因特网的爆炸性的成长以及它在我们的生活中的地位越来越重要, 因特网上的流量每年以10 0 %的比例剧增。 流行的站点上的负荷不断增加, 有的站点已经达到每天上千万次的点击率。 越来越多的管理员都遇到所提供服务的性能瓶颈问题, 随着访问需求的增加, 服务器会很容易在短时间内超负荷工作。单服务器的解决方法是升级服务器的性能, 但有它的缺点。 升级的过程是复杂的, 而且原来的机器会浪费掉。 当需求增加时, 又会超负荷, 因而有不得不升级设备。

服务器也仅是一个单一的容错点。 升级更高端的服务器, 我们就会花费更多。 因此为了在原有较低的设备的情况下产生高的性能和高的可用性的集群服务器随之而产生。1. 2. 1集群技术定义美国著名的阿伯丁公司( A b e r d e e nG r o u p L n c)对集群的定义为: 计算机集群是一种多节点的计算机。 它具有以下特征:1)从用户、 程序员、 操作员及管理员的角度看, 相当于一个单一的系统:21提供高的可用性;3)具有在集群范围内统一的操作与管理特征;4 )打印队列、 批作业队列、 文件系统以及外部设备等在集群范围内共享:5)完美的增量式扩充能力;6 )通过互连与技术组件可进行灵活的配置。广义的说, 集群就是一个计算系统, 它由一系列独立的计算机组成, 通过网络进行相互连接。 组成节点都是普通的设备, 具有独立的操作系统。 集群的节点计算机可以由单处理器或者对称多处理器( S M P )构成。 集群连接的网络可以是重庆大学硕士学位论文1绪论局域网或者系统区域网( S A N )甚至整个In te r n e t。1. 2. 2集群技术的分类对于集群系统的分类各个研究组织由不同的分类方法, 可以分为按结点的耦合方式分, 可分为紧耦合集群和松耦合集群; 按控制方式分, 可分为集中式集群和非集中式集群; 按同构性分, 可分为同构集群和异构集群; 按安全性分, 可分为开放式集群和封闭式集群。

在这里主要是根据集群在其功能上分为常见的三类。高可用性集群: 主要功能就是提供不问断的服务。 有许多应用程序都必须一天二十四小时地不停运转, 如所有的w e b 服务器、 工业控制器、 A T M 、 远程通讯转接器、 医学与军事监测仪以及股票处理机等。 对这些应用程序而言, 暂时的停机都会导致数据的丢失和灾难性的后果。 高可用性集群的设计思想就是要最大限度地减少服务中断时间。负载均衡集群: 这种集群追求的不是高速的计算能力, 而是快速的事务( T r a n sa ctio n )处理和响应能力。 同时对系统的高可用性、 高扩展性有较高的要求。这种集群系统是随着In te m e t的发展和网络负荷增加而产生的。 负载均衡集群往往也具有一定的高可用性特点。高性能集群: 该类型也被成为超级计算集群, 按照计算关联程度的不同, 又可以分为两种。 一种是任务片方式, 要把计算任务分成任务片, 再把任务片分配给各节点, 在各节点上分别计算后再把结果汇总, 生成最终计算结果。 另一种是并行计算方式, 节点之间在计算过程中大量地交换数据, 可以进行具有强耦合关系的计算。 这两种超级计算集群分别适用于不同类型的数据处理工作。

有了超级计算集群软件, 企业利用若干台P C 机就可以完成通常只有超级计算机才能完成的计算任务。 通过将多台机器连接起来同时处理复杂的计算问题。 模拟星球附近的磁场、 预测龙卷风的出现、 定位石油资源的储藏地等情况都需要对大量的数据进行处理。 传统的处理方法是使用超级计算机来完成计算工作, 但是超级计算机的价格比较昂贵, 而且可用性和扩展性不够强, 因此集群成为了高性能计算领域瞩目的焦点。1. 2. 3集群系统在国内外的研究现状美国D E C 公司首先引入集群的概念, 并于19 8 3年在V M S 上实现了集群系统V M S C lu ster 。 至今已经安装了超过4 . 5万个集群系统, 在许多领域都有众多出色的应用。 在各种对集群系统的评价中, 始终处于较大的优势地位, 成为工业界公认的集群技术领先者。 但由于V M S 操作系统只能在D E C 公司的V A X 系列和A lp h a系列服务器上运行, V M S clu ster 的应用受到很大限制。 具有代表性的集群系统有m M 的S P 2 、 S G I的P O W E RC H A L L E N G Ea r r a y 、 M ic r o so R 的W o lf p a c k 、 D E C 的T r u C lu ste r s、 S U N 的S P A R Cc lu ste r 10 0 0 /20 0 0 P D B 以及B e r k e le yN O W 等, 中国国重庆大学硕士学位论文l绪论家智能计算机研究开发中心的曙光一10 0 0 A 、 曙光- - 20 0 0 1和曙光- - 20 0 0 11也都属集群系统。

随着对集群的兴趣不断增加IE E E 在19 9 9 年就形成了一个集群计算计算机特N d ,组( T F C C )。 在国外, 对于L in u x 的集群的研究研究也比较多, 比较成功的有B e o w u lf ,L in u x 虚拟服务器、 M O S IX 集群服务器、 T u r b o C lu ster 等等集群服务器, 这些集群服务器大都是开放源代码的系统, 因此对研究L in u x 集群有一定的指导意义。在国内除了中国科技大学对集群系统的研究较为深入之外, 其它对集群系统研究很少, 特别是基于L in u x 的集群系统基本上还是空白。 因此研究基于L in u x 集群系统具有很大的开创意义。1. 2. 4 集群系统的典型特点和性能测评标准①集群系统的典型共特点1)集群都是将普通P c 工作站、 工作站或服务器通过某种方式连接起来构成的多机系统。 连接方式可以采取通过网络适配器和网络集线器, 或通过将各个机器的R S . 232串口直接连接起来, 还可以通过内存通道卡和内存通道集线器的方式连接各台机器。2)系统都具有良好的可用性。 即它们都能够在集群的某部分资源出故障的情况下继续向用户提供持续的服务。

几乎所有的典型集群都拥有灾难恢复功能。3)集群系统有良好的可扩展性。 只需很少的配置工作就可以方便地向集群中加入或删除工作节点。4 )集群系统提供了良好的可管理性。 管理人员通过简单的操作就可以对集群中的工作节点或控制节点进行配置工作。5)集群系统一般都提供了负载平衡功能。 负载平衡包括静态负载平衡和动态负载平衡, 为了最大程度地利用集群中的一切资源, 集群需要具有动态负载平衡功能, 它能够通过监视集群中的实际节点的负载情况并动态地进行调度的改变。6 )大部分集群系统都有一个主控机, 它能够对集群中的机器的运行状态进行监视, 而且能够根据各机器的负载轻重进行任务的调度。②测评标准检验集群系统的主要指标是可靠性( relia b ility )、 高可用性( a v a il. a b ility )、 可维护性( ser v icea b lity )和其它相关特点和功能。可靠性主要指集群中的软件、 节点计算机和共享存储设备的可靠和稳定程度。高可用性( H ig hA v a ila b ity , H A )要求当硬件系统发生故障时, 运行在该系统上的数据不会丢失, 而且在尽可能短的时间内恢复应用系统的正常运行, 能够满足上述要求的系统称为高可用性系统。

4重庆大学硕士学位论文1绪论在美国D . H . B ro w nA sso cia tio n 公司的集群系统评测报告中, 将集群系统的测试项目分为11个大项, 即:1)集群内备份与恢复: 考察集群对故障和条件变化的检测和响应能力。2)集群可配置性: 考察集群硬件和软件配置的灵活性。3)节点内故障恢复; 考察独立节点硬件和软件故障条件下的恢复能力。4 )集群并行数据库可存取性: 考察集群对并行数据库的支持程度和效率, 即集群内各节点同时访问同...

(编辑:云计算网_宿迁站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!