ELK日志系统之elasticsearch集群

 

第一步

机器

我这边拿二台虚拟机,centos7的

主节点IP地址:192.168.0.191

副节点IP地址:192.168.0.192

 

下载

我这边是先下载好的

版本:elasticsearch6.5.2

官方下载地址:https://www.elastic.co/cn/downloads/elasticsearch

 

JDK8

elasticsearch是需要jdk8的

JDK8安装文章:http://www.linux91.cn/c/Liunx__centos7__JDK8%E5%AE%89%E8%A3%85

 

 

 

第二步

以下的操作在二台节点执行

 

安装elasticsearch

解压:tar -zxf elasticsearch-6.5.2.tar.gz

移动:mv elasticsearch-6.5.2 /usr/local/elasticsearch

创建数据目录:mkdir -p /path/data/ /path/data2/

 

创建用户并授权(因,elasticsearch不允许root用户启动)

创建用户:useradd elk

授权:chown elk:elk -R /usr/local/elasticsearch/

授权:chown elk:elk -R /path/

 

 

 

第三步

为了更好的使用elasticsearch,我们针对操作系统跟JVM两个方面进行简单调优

以下的操作在二台节点执行

 

操作系统调优

vim /etc/sysctl.conf 

vm.max_map_count = 262144    ##配置系统最大打开文件描述符数
fs.file-max = 655360         ##用于限制一个进入可拥有的虚拟内存大小

##在最后添加

#####################################################################


vim /etc/security/limits.conf


*       soft    nproc   20480
*       hard    nproc   20480
*       soft    nofile  65536
*       hard    nofile  65536
*       soft    memlock unlimited
*       hard    memlock unlimited

##在最后添加


#####################################################################


vim /etc/security/limits.d/20-nproc.conf


*          soft    nproc     20480

##修改以上的值

  

 

JVM调优

vim /usr/local/elasticsearch/config/jvm.options

-Xms512m
-Xmx512m

###主要调优elasticsearch的使用内存,一般占机器内存的一半

 

 

 

第四步

配置elasticsearch

注意,节点在配置的时候是不同的,需要分开来做

 

主节点elasticsearch配置

vim /usr/local/elasticsearch/config/elasticsearch.yml

cluster.name: esbigdata
   ##配置集群名称
node.name: server1
   ##配置节点名称
node.master: true
   ##指定这节点是否有资格成为主节点
node.data: true
   ##指定这节点是否存储索引数据
path.data: /path/data/elasticsearch,/path/data2/elasticsearch
   ##设置索引数据的存储路径
path.logs: /usr/local/elasticsearch/logs/
   ##设置日志默认存储路径
bootstrap.memory_lock: true
   ##锁住物理内存,不使用虚拟内存
network.host: 0.0.0.0
   ##IP地址,默认是0.0.0.0  按情况修改
http.port: 9200
   ##端口
discovery.zen.ping.unicast.hosts: ["192.168.0.192:9300"]
   ##设置elasticsearch集群的节点
discovery.zen.minimum_master_nodes: 1
   ##设置elasticsearch集群最少的主节点数

 

副节点elasticsearch配置

vim /usr/local/elasticsearch/config/elasticsearch.yml

cluster.name: esbigdata
   ##配置集群名称
node.name: server2
   ##配置节点名称
node.master: false
   ##指定这节点是否有资格成为主节点
node.data: true
   ##指定这节点是否存储索引数据
path.data: /path/data/elasticsearch,/path/data2/elasticsearch
   ##设置索引数据的存储路径
path.logs: /usr/local/elasticsearch/logs/
   ##设置日志默认存储路径
bootstrap.memory_lock: true
   ##锁住物理内存,不使用虚拟内存
network.host: 0.0.0.0
   ##IP地址,默认是0.0.0.0  按情况修改
http.port: 9200
   ##端口
discovery.zen.ping.unicast.hosts: ["192.168.0.191:9300"]
   ##设置elasticsearch集群的节点
discovery.zen.minimum_master_nodes: 1
   ##设置elasticsearch集群最少的主节点数

 

 

 

第五步

启动,正常是推荐启动顺序,先启动主节点,在启动副节点

切换用户:su - elk

启动:/usr/local/elasticsearch/bin/elasticsearch -d        ##-d选项的意思:在后台中运行

 

报错

报错:
[1] bootstrap checks failed
[1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

解决办法:
sysctl -w vm.max_map_count=262144

#这个问题,是我们之前做的操作系统调优的配置没有生效,解决办法:使用上面的命令就可以解决问题

 

 

 

转载请注明原文链接:ELK日志系统之elasticsearch集群

发表评论:

共有 0 条评论

 Top