当前位置:首页 > 服务端 > elasticsearch的安装、部署

elasticsearch的安装、部署

2022年09月16日 08:39:49服务端10

https://blog.csdn.net/lubin2016/article/details/81606753

 

1. elasticsearch的安装

1.1 集群规划

上传elasticsearch的tar.gz包至规划的集群各节点的目录下(规划两个节点rc-fhcb-10-es001,rc-fhcb-10-es002),如:本项目安装在/opt/fhcb/目录下

注意:建议elasticsearch的安装包在集群中各节点目录一致

1.2 修改配置文件

修改安装包下config目录下的配置文件elasticsearch.yml(集群每个节点)

 1 # 集群的名称 
 2 cluster.name: elasticsearch 
 3 # 节点名称 
 4 node.name: es-node-01 
 5 # 配置文件的位置 
 6 path.conf: /opt/fhcb/elasticsearch-1.6.0/config 
 7 # 该节点存储的索引数据 
 8 path.data: /opt/fhcb/elasticsearch-1.6.0/data 
 9 # 临时工作目录
10 path.work: /opt/fhcb/elasticsearch-1.6.0/work 
11 # 日志文件位置 
12 path.logs: /opt/fhcb/elasticsearch-1.6.0/logs 
13 # 插件安装目录 
14 path.plugins: /opt/fhcb/elasticsearch-1.6.0/plugins 
15 # 设置该节点绑定的ip地址 
16 network.bind_host: rc-fhcb-10-es001 
17 # 设置其它节点与该节点交互的ip地址 
18 network.publish_host: rc-fhcb-10-es001 network.host: rc-fhcb-10-es001 # 设置tcp协议端口号 
19 transport.tcp.port: 9300 
20 # 设置http协议端口号 
21 http.port: 9200 
22 # 通过配置这个参数来防止集群脑裂现象 (集群总节点数量/2)+1 discovery.zen.minimum_master_nodes: 2 
23 # 默认设置为3s,此参数值为集群发现其它节点ping连接的超时时间,为避免网络延时,导致报错,故设置稍大些 
24 discovery.zen.ping.timeout: 40s 
25 # 设置是否打开多播发现节点,默认为true discovery.zen.ping.multicast.enabled: false 
26 # 在es1.x中默认使用的是组播(multicast)协议,默认会自动发现同一网段的es节点组建集群,
27 # 在es2.x中默认使用的是单播(unicast)协议,想要组建集群的话就需要在这指定要发现的节点信息了。 
28 discovery.zen.ping.unicast.hosts: ["rc-fhcb-10-es001", "rc-fhcb-10-es002"]

其它,节点下配置修改与上面大致相同,只是以下几个参数值不同:

1 node.name: es-node-02
2 network.bind_host: rc-fhcb-10-es002
3 network.publish_host: rc-fhcb-10-es002
4 network.host: rc-fhcb-10-es002

1.3 启动elasticsearch集群

在bin目录下,后台启动elasticsearch(集群每个节点)

方式一

./elasticsearch -d -Xms8g -Xmx8g

注意:参数-Xms8g -Xmx8g为ES使用的堆内存,具体大小应根据机器的配置确定,建议不要超过物理内存的一半,也不要超过32G;

方式二

1 在修改/etc/profile文件,添加如下内容
2 export ES_HEAP_SIZE=8g
3 
4 然后在ES安装目录的bin目录下启动
5 ./elasticsearch -d

1.4 插件安装(在线安装)

插件的安装不必每个节点都进行安装,进入到安装节点的elasticsearch安装目录的bin目录下

BigDesk Plugin : 对集群中es状态进行监控

./plugin -install lukas-vlcek/bigdesk

Elasticsearch Head Plugin插件

./plugin -install mobz/elasticsearch-head

Elasticsearch Sql 插件

./plugin install NLPchina/elasticsearch-sql -u https://github.com/NLPchina/elasticsearch-sql/releases/download/1.4.6/elasticsearch-sql-1.4.6.zip 

注意:sql插件重启后生效

Elasticsearch kopf插件

./plugin -install lmenezes/elasticsearch-kopf

注意:以上安装方式都是在线安装,安装节点必须能连接互联网

查看head页面索引http://10.13.11.21:9200/_plugin/head/

查看sql页面:http://10.13.11.21:9200/_plugin/sql/

关闭elasticsearch

前台运行,通过”CTRL+C“组合键来终止elasticsearch的运行

后台运行,通过“kill -9 进程号”停止运行

通过REST API接口关闭整个集群:

curl -XPOST http://主机ip:9200/_cluster/nodes/_shutdown

通过如下命令来关闭单个节点:

curl -XPOST http://主机ip:9200/_cluster/nodes/节点标志符(如:es-node-01)/_shutdown

1.5 插件安装(离线安装)

head插件

下载地址:https://github.com/mobz/elasticsearch-head

./plugin --install head --url file:///opt/softwares/elasticsearch-head-master.zip

sql插件

下载地址:https://github.com/NLPchina/elasticsearch-sql

./plugin --install sql --url file:///opt/softwares/elasticsearch-sql-1.4.6.zip

注意:sql插件重启后生效

bigdesk插件

下载地址:https://github.com/lukas-vlcek/bigdesk

./plugin --install bigdesk --url file:///opt/softwares/bigdesk-master.zip

kopf插件

下载地址:https://github.com/lmenezes/elasticsearch-kopf

./plugin --install kopf --url file:///opt/softwares/elasticsearch-kopf-master.zip

2. 数据导入导出工具elasticdump工具的安装

2.1 安装nodejs插件

方式一:在线安装

1 yum -y install epel-release
2 yum -y install nodejs
3 yum -y install npm

方式二:离线安装

下载地址:https://nodejs.org/dist/latest-v8.x

下载nodejs的安装包(xxx.tar.gz),解压到指定目录;

配置nodejs的环境变量

1 export NODE_HOME=/opt/fhcb/node-v8.11.3-linux-x64
2 export PATH=$NODE_HOME/bin:$PATH

验证

1 npm -v
2 node -v

2.2 安装elasticdump

方式一:(在线)

1 npm install elasticdump  # 局部安装,elasticdump安装在当前目录
2 #或
3 npm install elasticdump -g  # -g表示全局安装

注意: 此方式安装elasticdump需要联网
方式二:(离线)

1 # 前提条件:已经安装好node,npm
2 直接将已经安装好的node_modules安装包拷贝到需要安装的机器上即可

2.3 导出数据

进入elasticdump的安装目录node_modules,然后进入elasticdump/bin目录下操作;

./elasticdump --input http://10.13.11.21:9200/10news_f_hot_news_toplist --output /root/datas/10news_f_hot_news_toplist.json --type=data

注意:导出目录/root/datas必须存在,否则报错;

–type参数:analyzer,拷贝analyzer分词

–type参数:mapping,拷贝映射

–type参数:data,拷贝数据

导出特定内容的数据

 1 ./elasticdump --input http://192.168.102.108:9200/web_page_news_info_09 --output /root/datas/web_page_news_info_09.json --type=data 
 2 --searchBody 
 3 '
 4 {
 5     "from": 0,
 6     "size": 200,
 7     "query": {
 8         "filtered": {
 9             "filter": {
10                 "bool": {
11                     "must": {
12                         "query": {
13                             "match": {
14                                 "orgcode": {
15                                     "query": "FHCB00001",
16                                     "type": "phrase"
17                                 }
18                             }
19                         }
20                     }
21                 }
22             }
23         }
24     }
25 }
26 ' 
27 # 导出web_page_news_info_09.json表中,orgcode字段为FHCB00001的记录

2.4 导入数据

./elasticdump --input /opt/data/web_page_book_summary_09.json --output http://10.13.11.21:9200 --type=data

注意:可以使用elasticdump –help查看插件的一些常用命令

3. IK中文分词器

3.1 安装ik分词器(ES集群每个节点)

3.1.1 到github下载分词器源代码,地址为:https://github.com/medcl/elasticsearch-analysis-ik

注意:下载与elasticsearch匹配的分词器源码版本,1.6.x对应的源码版本为1.4.0

3.1.2 解压elasticsearch-analysis-ik-1.4.0.zip,然后编译源码
3.1.3 将解压目录文件中config/ik文件夹复制到ES安装目录config文件夹下
3.1.4 把\target\releases\elasticsearch-analysis-ik-1.4.1.zip 解压到 ES安装目录/plugins/analysis-ik/
3.1.5 将elasticsearch-analysis-ik-1.4.0.jar复制到ES安装目录/lib下
3.1.6 修改ES的配置文件config/elasticsearch.yml,增加ik的配置

 1 index:
 2     analysis:
 3         analyzer:
 4             ik:
 5                 alias:[ik_analyzer]
 6                 type:org.elasticsearch.index.analysis.IkAnalyzerProvider
 7             ik_max_word:
 8                 type:ik
 9                 use_smart:false
10             ik_smart:
11                 type:ik
12             use_smart:true
13 index.analysis.analyzer.default.type:ik

注意:全局范围内所有的索引都将受到影响,也可以只对某个索引设置分词器

3.1.7 重启elasticsearch

3.1.8 验证分词效果

 1 #使用分词器 
 2 http://10.11.2.105:9200/web_page_book_summary_09/_analyze?analyzer=ik_smart&pretty=true&text=中国特社会主义 
 3 { "tokens" : [ { "token" : "中国特色社会主义", "start_offset" : 0, "end_offset" : 8, "type" : "CN_WORD", "position" : 1 } ] } 
 4 
 5 #没有使用分词器 
 6 http://10.13.11.21:9200/web_page_book_summary_09/_analyze?analyzer=standard&pretty=true&text=中国特社会主义 
 7 {
 8     "tokens": [{
 9         "token": "中",
10         "start_offset": 0,
11         "end_offset": 1,
12         "type": "<IDEOGRAPHIC>",
13         "position": 1
14     }, {
15         "token": "国",
16         "start_offset": 1,
17         "end_offset": 2,
18         "type": "<IDEOGRAPHIC>",
19         "position": 2
20     }, {
21         "token": "特",
22         "start_offset": 2,
23         "end_offset": 3,
24         "type": "<IDEOGRAPHIC>",
25         "position": 3
26     }, {
27         "token": "色",
28         "start_offset": 3,
29         "end_offset": 4,
30         "type": "<IDEOGRAPHIC>",
31         "position": 4
32     }, {
33         "token": "社",
34         "start_offset": 4,
35         "end_offset": 5,
36         "type": "<IDEOGRAPHIC>",
37         "position": 5
38     }, {
39         "token": "会",
40         "start_offset": 5,
41         "end_offset": 6,
42         "type": "<IDEOGRAPHIC>",
43         "position": 6
44     }, {
45         "token": "主",
46         "start_offset": 6,
47         "end_offset": 7,
48         "type": "<IDEOGRAPHIC>",
49         "position": 7
50     }, {
51         "token": "义",
52         "start_offset": 7,
53         "end_offset": 8,
54         "type": "<IDEOGRAPHIC>",
55         "position": 8
56     }]
57 }

3.2 IK分词器

ik_max_word: 会将文本做最细粒度的拆分,比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”,会穷尽各种可能的组合;
ik_smart: 会做最粗粒度的拆分,比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”。

4. 问题集锦

问题1:由SSL引发的问题

nodejs的npm安装模块时候报错:npm ERR! Error: CERT_UNTRUSTED

解决方案:

npm config set strict-ssl false

问题2:npm安装elasticdump时报错

SyntaxError: Unexpected identifier

解决方案:升级一下nodejs版本

npm install -g n
n stable

 

作者:小哥哥呀
来源链接:https://www.cnblogs.com/zhhy/p/10912028.html

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/41843.html

分享给朋友:

“elasticsearch的安装、部署” 的相关文章

~~Python解释器安装教程及环境变量配置~~

~~Python解释器安装教程及环境变量配置~~

进击のpython ***** Python解释器安装教程以及环境变量配置 对于一个程序员来说,能够自己配置python解释器是最基础的技能 那么问题来了,现在市面上有两种Python版本 Python 2.x 和 Python 3.x...

超详细图文教你如何使用 PyCharm 进行远程调试

超详细图文教你如何使用 PyCharm 进行远程调试

推荐阅读:http://pycharm.iswbm.com 这一篇文章是以前的文章,有的朋友已经看过,但是没有关系,因为这次我准备介绍这几大调试工具都是如何调试,又该如何选择。 一般情况下,我们开发调试都是在个人PC上完成,遇到问题,开一下 Pycharm 的调试器,很快就...

IntelliJ IDEA 15 激活码(破解)--License server 15.0.6 本人亲测

http://idea.lanyus.com/  点击“获得注册码”按钮,复制获得的注册码,然后到 IntelliJ IDEA中 Help->Register->Activation code把注册码黏贴的框里,点“OK”即可...

Linux for Ubuntu Intellij Idea 免費激活

注冊碼與方法請點擊這裏. 更改hosts方法: sudo gedit /etc/hosts 作者:可可可可KE是 来源链接:https://blog.csdn.net/tydyz/article/de...

IDEA 永久激活破解教程,操作简单适合小白(2022年1月25日更新)

IDEA 永久激活破解教程,操作简单适合小白(2022年1月25日更新)

转自:https://r86oxhhvu2.feishu.cn/docs/doccnIR4lBYFmIzNU3rN2dRHIPd   0. 下载激活补丁   下载激活用到的补丁文件。...

ItelliJ idea 16专业版 激活(破解)

[size=medium][color=brown][b]ItelliJ idea 16下载 激活(破解)[/b][/color][/size] [size=medium][color=indigo][b]1. 下载idea[/b][/color][/siz...

idea完美激活 转载

idea完美激活 转载

今天打开电脑,非常不幸,idea出问题了!!! 大部分人以前应该都是用的以下方法: 1. 到网站 http://idea.lanyus.com/ 获取注册码 2.填入下面的license server:    http://i...

Docker安装windows系统安装

Docker安装windows系统安装

1.Docker 运行环境 2.BootDocker简介 为docker定制的镜像 3.下载安装 下载地址 https://docs.docker.com/toolbox/toolbox_install_windows...

PyCharm介绍与基础操作

PyCharm介绍与基础操作

 PyCharm是一种Python IDE(集成开发软件),带有一整套可以帮助用户在使用Python语言开发时提高其效率的工具。   1.1 PyCharm主界面     PyCharm包含4个主要区分,分别为菜单工具栏、项目结构区、代码区、信...

IntelliJ 、Pycharm、webstorm 2017 注册码及注册服务器

IntelliJ 、Pycharm、webstorm 2017 注册码及注册服务器

jetbrains 家的东西都非常好看,但是价格贵的令人发指,所以我搭建了一个 Pycharm激活服务器,可以用来激活 Pycharm,IntelliJ IDEA,WebStorm。避免频繁更换激活码的问题。免费SS分享:https://ss.feiyang.li/ Pychar...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。