当前位置:首页 > 服务端 > Elasticsearch学习之路(二)

Elasticsearch学习之路(二)

2022年09月16日 08:50:22服务端8

Elasticsearch安装与简单配置

1. Elasticsearch基于java开发,所以需要安装JDK并设置$JAVA_HOME (Elasticsearch7开始内置了java)
2. 各版本对java的依赖
	1. Elasticsearch5 需要从Java 8以上的版本
	2. Elasticsearch 从6.5开始支持Java 11
	3. Elasticsearch 7开始内置了java环境

安装(以mac为例,不同系统可以参考官网的示例)

1. 下载源码包安装

1. 到官网下载源码包 官网地址 https://www.elastic.co/cn/downloads/elasticsearch
2. 双击安装

Elasticsearch学习之路(二) _ JavaClub全栈架构师技术笔记

2. 使用brew安装

1. brew tap elastic/tap
2. brew install elastic/tap/elasticsearch-full

安装以后,Elasticsearch相关文件的安装目录如下图所示

Elasticsearch学习之路(二) _ JavaClub全栈架构师技术笔记

相关目录解释:

目录 重要配置文件 描述
bin 脚本文件,包括启动Elasticsearch,安装插件,运行统计数据等
config Elasticsearch.yml 集群配置文件,user,role based相关配置
JDK java运行环境,7版本以后自带
data path.data 数据文件
lib java类库
logs Path.log 日志文件
modules 包含所有ES模块
Plugins 包含所有已安装插件
额外注意:
	1. 7.1下载的默认配置是1GB
生成环境配置建议:
	1. Xmx和Xms设置成一样
	2. Xmx不要超过机器内存的50%
	3. 不要超过30GB

在命令行输入 elasticsearch,启动集群:

Elasticsearch学习之路(二) _ JavaClub全栈架构师技术笔记

在浏览器输入http://localhost:9200可以看到以下界面即为启动成功:

Elasticsearch学习之路(二) _ JavaClub全栈架构师技术笔记

elasticsearch 安装插件

1. 这里以安装analysis-icu为例,这是一个国际化分词插件

elasticsearch-plugin list  查看本机已安装插件
elasticsearch-plugin install analysis-icu  安装插件

我们可以使用插件的形式对elasticsearch进行扩展

如何在开发机上运行多个elasticsearch实例

elasticsearch -E node.name=node1 -E cluster.name=hbw path.data=node1_data -d
elasticsearch -E node.name=node2 -E cluster.name=hbw path.data=node2_data -d
elasticsearch -E node.name=node3 -E cluster.name=hbw path.data=node3_data -d

我们在启动elasticsearch服务的时候,指定节点名,集群名称以及每个节点存储数据的文件即可
可以通过浏览器访问 http://localhost:9200/_cat/nodes来查看集群节点

Kibana的安装与界面快速浏览

安装与配置

1. kibaba的安装与elasticsearch类似,也可以通过下载源码包或者brew安装

brew install elastic/tap/kibana-full

注:需要先添加elastic homebrew 的仓库
brew tap elastic/tap

安装完成以后,各目录如下图所示

Elasticsearch学习之路(二) _ JavaClub全栈架构师技术笔记

配置

1. 打开conf下面的kibana.yml文件,修改elasticsearch.hosts为指向你的elasticsearch实例
2. 可以将最后一行的配置改为 i18n.locale: "zh-CN"(默认注释),即可汉化kibana

运行kibana

1. 在命令行输入 kibana (先启动elasticsearch集群)
2. 在浏览器输入http://localhost:5601,看到以下界面即为安装配置成功

Elasticsearch学习之路(二) _ JavaClub全栈架构师技术笔记

Logstash安装与导入数据

安装

1. logstash的安装与上面那俩没啥区别,官网下载源码包,或者brew

brew install elastic/tap/logstash-full

安装以后,各文件目录参考kibana(位置和kibana一样,只是根目录换成了logstash)

导入数据

1. 开源数据集下载 https://files.grouplens.org/datasets/movielens/ml-latest-small.zip
2. 解压数据集,记住 movies.csv文件的路径
3. 重命名conf目录下logstash-sample.conf  mv logstash-sample.conf logstash.conf
4. 修改logstash.conf为下面的代码
5. 以指定配置文件的方式运行logstash    
	logstash -f logstash.conf
	需要java环境,启动会慢些,并且会在控制台看到打印出的索引数据(json)
6. 在kibana的索引管理界面可以看到索引信息
# logstash.conf

input {
  file {
    path => "YOUR_FULL_PATH_OF_movies.csv"
    start_position => "beginning"
    sincedb_path => "/dev/null"
  }
}

filter {
  csv {
    separator => ","
    columns => ["id","content","genre"]
  }

  mutate {
    split => { "genre" => "|" }
    remove_field => ["path", "host","@timestamp","message"]
  }

  mutate {

    split => ["content", "("]
    add_field => { "title" => "%{[content][0]}"}
    add_field => { "year" => "%{[content][1]}"}
  }

  mutate {
    convert => {
      "year" => "integer"
    }
    strip => ["title"]
    remove_field => ["path", "host","@timestamp","message","content"]
  }

}
output {
   elasticsearch {
     hosts => "http://localhost:9200"
     index => "movies"
     document_id => "%{id}"
   }
  stdout {}
}

更多内容欢迎关注我的个人公众号“韩哥有话说”,100G人工智能学习资料,大量后端学习资料等你来拿。

Elasticsearch学习之路(二) _ JavaClub全栈架构师技术笔记

作者:韩哥有话说
来源链接:https://blog.csdn.net/qq_34348049/article/details/115181113

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/server/41783.html

标签: Elasticsearch
分享给朋友:

“Elasticsearch学习之路(二)” 的相关文章

CenterOS 7 安装Elasticsearch、Kibana

CenterOS 7 安装Elasticsearch、Kibana 环境准备 JDK1.8、Elasticsearch 7.10.0、Kibana 7.10.0 JDK1.8安装 yum install java-1.8.0-op...

Linux安装Elasticsearch

Linux安装Elasticsearch

本文介绍Linux环境如何安装Elasticsearch. 本文环境是在腾讯云服务器CentOS7.2搭建的,JDK1.8,elasticsearch-5.4.2。 1 安装JDK 网上教程很多,也可以参考本人教程之前写的Linux安装...

ElasticSearch 介绍、安装及简单使用

ElasticSearch 介绍、安装及简单使用

文章目录 介绍 基本概念 全文搜索(Full-text Search)...

ElasticSearch安装中文分词插件ik导致elasticsearch容器反复重启

问题:在docker容器的elasticsearch容器的plugin安装并解压了ik压缩包重启后查看elasticsearch状态一直是Restarting 解决办法:注意在解压ik的时候要在一个文件夹中,不能直接解压到plugin下面否则docker logs...

elasticsearch 安装( 阿里云ECS )、远程访问、启动报错处理

elasticsearch 安装( 阿里云ECS )、远程访问、启动报错处理

附另 2 文章: elasticsearch-head 安装 kibana 安装   前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到教程。   1. 从网上下载到 linux 版...

ECK安装elasticsearch集群及es配置x-pack

目录   ECK安装elasticsearch集群 elasticsearch安装x-pack插件 Elasticsearch Springboot 开发 ECK安装elasticsearch集群 E...

elasticsearch的安装与使用

elasticsearch的安装与使用

安装 在官网上下载elasticsearch压缩包,这里是使用的是7.8.0版本的,使用的环境是windows系统. 官网:[https://www.elastic.co/cn/elasticsearch/] 解压缩之后直接启动即可(bin目录下的...

windows环境下elasticsearch安装教程(转载)

windows环境下elasticsearch安装教程(转载)

windows环境下elasticsearch安装教程(超详细) https://www.cnblogs.com/hualess/p/11540477.html 一、安装jdk ElasticSearch是基于lucence开发的,也就是运行需要java jdk...

elasticsearch安装和常用命令 (一)

1.下载elasticsearch最新版7.9 https://www.elastic.co/cn/elasticsearch/ 需要安装jdk 11。 启动:D:\elasticsearch-7.9.0\bin\elasticsear...

elasticsearch堆内存的配置建议

1、将最小堆大小(Xms)和最大堆大小(Xmx)设置为彼此相等 防止内存抖动   2:给多大的堆内存? 给ES的内存配置不是越大越好,建议不能超过32GB,不同jdk版本最大边界值是不同的,对于32位小于32G JVM才采用内存对象指针压缩技术,...

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。