Linux之集群部署(超简单!)

Linux之集群部署(超简单!)

这篇文章小菌来为大家分享如何在linux环境下进行大数据集群的部署。

文章目录 二.3台机器关闭防火墙 三.3台机器关闭selinux 四.3台机器更改主机名 五.3台机器给ip地址起别名 六.SCP远程文件拷贝 七.SSH远程登录八.总结 一.新增linux系统1.克隆虚拟机

2.更改系统的mac地址

vim /etc/udev/rules.d/70-persistent-net.rules

3.更改网卡信息

vim /etc/sysconfig/network-scripts/ifcfg-eth0

4.重启系统生效

reboot重启后再重启网卡,查看当前的网卡信息，把HWADDR那一行的信息删除并把IPADDR那一行的ip修改成自己定义的ip,保存退出。

修改完毕,可以再次查看修改过的网卡信息。ip显示为自己自定义的即操作成功!

二.3台机器关闭防火墙

内网环境安全性比较高,防火墙开启会影响效率,所以关闭防火墙 克隆的三台机器执行以下的命令(root用户来执行)

    #  查看防火墙的状态
    service iptables status
     
    #  启动防火墙的服务
    service iptables start
    
    #  关闭防火墙服务
    service iptables stop
    #  彻底关闭防火墙
    chkconfig iptables off

三.3台机器关闭selinux

vim /etc/selinux/config 修改selinux的配置文件

注意:重启后才会生效

四.3台机器更改主机名

vim /etc/sysconfig/network 修改系统配置文件里的主机名设定

注意:重启后才会生效

五.3台机器给ip地址起别名

vim /etc/hosts 设置见下图:

#  这里以小菌的三台虚拟机配置为例, 别名设置上尽量相似,后面使用到也方便。
192.168.100.111      hadoop001
192.168.100.112      hadoop002
192.168.100.113      hadoop003

六.SCP远程文件拷贝

scp 是远程文件拷贝命令

从本机拷贝文件至hadoop001(192.168.100.111)的根目录下
#   拷贝文件
    scp  文件名   hadoop001:/
    scp  文件名   192.168.100.111:/
#   拷贝目录          
    scp  -r  目录名 hadoop001:/
    scp  -r  目录名 192.168.100.111:/ 

七.SSH远程登录1.使用 ssh 基于密码的远程登录

命令

含义

ssh ip地址

远程登录到指定服务器上(必须知道正确的密码)

2.使用 ssh 基于密匙实现免密码登录(掌握)

①ssh-keygen + 三个回车 在hadoop001，hadoop002，hadoop003 上面分别执行命令,产生公钥和私钥②ssh-copy-id hadoop01 将公钥拷贝到hadoop1上面去，以此类推…把公钥拷贝到其他虚拟机上。

配置完成之后,就可以使用ssh 免密登录到其他虚拟机上了。

注意:①第一次拷贝的时候需要输入指定虚拟机的密码,另外在拷贝除了自身虚拟机公钥的时候,需要在/root/.ssh/目录下执行操作。②想要查看当前虚拟机可以被哪些虚拟机免密登录,可以vim /root/.ssh/authorized_keys查看。

八.总结

大数据集群部署过程比较繁琐,第一次接触的小伙伴们还是需要勤加练习。当然，也不必担心自己学不好大数据,小菌每天都会更博,有什么问题可以在下方评论区积极留言,小菌会尽力帮助到大家的。这次的分享就到这里了，认为有用的小伙伴们不要忘了点赞加关注呀(ゝω?)☆

Linux之集群部署(超简单!) 相关文章Linux之CentOS本地资源库(yum源)的配置

上一篇文章为大家介绍了如何挂载持有系统镜像光驱，这篇文章我们要讲的是本地资源库(yum源)的配置。 切换到 cd /etc/yum.repos.d/ ，并备份里面该文件夹下的所有文件 yum.repos.d/ 目录下的文件里面描述的就是用yum进行安装时所要连接的镜像url 去bk目录中复

Linux之制作局域网yum源

在《Linux之CentOS本地资源库(yum源)的配置》的博文中,小菌为大家介绍了如何在CentOS制作本地yum源,相信大家已经熟练掌握了。但大家有没有思考过这样一个问题:如果说现在有一个集群，共有100台电脑，要求每台电脑都需要配置yum源,那我们是不是得配置本地yum

小皮面板部署WordPress并配置SSL

1、?环境 Apache ： 2.4 MySQL（自建）： 5.5 PHP ： 7.3.4 集成环境 ：小皮面板 ?2、安装小皮面板 1、下载小皮面板 下载Windows 小皮面板 2、安装 小皮面板访问方式和登录信息 这里选择公网访问 3、添加WordPress网站

谈谈最近ES运维中遇到的几个有意思的问题

一、新旧ES集群数据按时间字段排序不生效的问题 客户情况： 客户有2个ES集群，索引mapping格式都一样，数据量不同。执行同样的API，一个集群可以基于时间字段排序并成功返回，一个集群却无法实现排序并成功返回。客户要执行的代码如下： GET bbs/_search //同

Linux CentOS 7.6 如何安装php7.2

主要参考文章 下面的文章中安装PHP扩展的时候建议一个一个安装 Centos7.6使用yum安装PHP7.2

达梦数据库集群 选择与介绍

一、 集群介绍 1. 达梦大规模数据处理集群软件（ DMMPP ） DMMPP 是基于达梦数据库管理系统研发的完全对等无共享式的并行集群组件，支持将多个 DM8 节点组织为一个并行计算网络，对外提供统一的数据库服务，最多可支持 1024 个节点，支持 TB 到 PB 级的数据存

Linux去重实现类似mysql的distinct的功能

拿了一份邮箱地址，想要对地址进行去重。 打开文件一看，好几列。有逗号区分也有空格区分 9589,860122@qq.com,1,1,2015-04-08 15:31:07.763000000,陕西省咸阳市,qq.com,59590,4605708@qq.com,1,1,2015-04-08 15:31:07.763000000,广东省深圳市,qq.com,59591,3

简单不仅仅是简化

简单不仅仅是简化Linux 如果你想要一个新的Linux发行版来迎合游戏的需求，可以看看simplicitylinux游戏发行版。如果你喜欢一个没有游戏焦点的通用计算平台，试试Simplity的改进版。无论哪种方式，您都将体验到一个不需要汇编的无意义Linux操作系统。 源于英

如何选购一部基于Linux系统的笔记本电脑（Computing）

购买基于Linux的笔记本电脑应该很容易，尤其是在大牌厂商的网站上。但事实并非如此。你必须采用变通的方法才能成功，否则就会花费更多的钱! 这就是为什么下载免费的Linux发行版并将操作系统安装到现有的计算机上是采用Linux的典型途径。一些计算机制造商销售

Linux：算作一个动力操作系统的29 年（Tech Blog）

当Linux在1991年8月25日诞生时，它不过是当时21岁的Linus Torvalds的一个爱好。今天，Linux社区估计有超过8600万的强大用户。 29年前集群linux，企业中还不存在对Linux的认识。如今，Linux已经成为许多大大小小企业的支柱。它安装在政府系统中，并嵌入到世界各地的设

（编辑：云计算网_宿迁站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!