当前位置:首页 > 数据库 > Mongodb在hadoop集群上的配置

Mongodb在hadoop集群上的配置

2022年09月17日 17:42:13数据库10

1.环境准备

1)虚拟机hadoop104、hadoop105、hadoop106,hadoop-2.7.2

2)mongodb-linux-x86_64-3.4.2

2.向/etc/profile添加环境变量

export MONGODB_HOME=/opt/module/mongodb
export PATH=$PATH:$MONGODB_HOME/bin

3.新建文件夹和文件

  1)在mongodb/目录下新建文件夹: mkdir logs/ data/ conf/

  2)在mongodb/logs/目录下新建文件:touch mongodb.log

     在mongodb/conf/目录下新建文件:touch mongodb.conf

4.编辑mongodb/mongodb.conf文件

hadoop104配置

 1 #hadoo104配置
 2 dbpath=/opt/module/mongodb/data                    #存放数据目录
 3 logpath=/opt/module/mongodb/logs/mongodb.log        #日志数据目录
 4 pidfilepath=/opt/module/mongodb/mongodb.pid        #pid文件
 5 #keyFile=/opt/module/mongodb/mongodb.key #节点之间用于验证文件,内容必须保持一致,权限600,仅Replica Set 模式有效
 6 directoryperdb=true            #数据库是否分目录存放
 7 logappend=true                #日志追加方式存放
 8 oplogSize=100                #设置oplog的大小(MB)
 9 replSet=testdb                #Replica Set的名字
10 bind_ip=123.45.67.8        #mongodb绑定的ip地址
11 port=27017                    #端口
12 #auth=true                    #是否开启验证
13 fork=true                    #守护进程运行,创建进程
14 noprealloc=true                #是否禁用数据文件预分配(往往影响性能)
15 journal=true                #启用日志选项(将mongodb数据操作写入该文件)
16 #maxConns=4000                #最大连接数,默认2000

hadoop105配置

#hadoo105配置
dbpath=/opt/module/mongodb/data                    #存放数据目录
logpath=/opt/module/mongodb/logs/mongodb.log        #日志数据目录
pidfilepath=/opt/module/mongodb/mongodb.pid        #pid文件
#keyFile=/opt/module/mongodb/mongodb.key #节点之间用于验证文件,内容必须保持一致,权限600,仅Replica Set 模式有效
directoryperdb=true            #数据库是否分目录存放
logappend=true                #日志追加方式存放
oplogSize=100                #设置oplog的大小(MB)
replSet=testdb                #Replica Set的名字
bind_ip=123.45.67.9        #mongodb绑定的ip地址
port=27018                    #端口
#auth=true                    #是否开启验证
fork=true                    #守护进程运行,创建进程
noprealloc=true                #是否禁用数据文件预分配(往往影响性能)
journal=true                #启用日志选项(将mongodb数据操作写入该文件)
#maxConns=4000                #最大连接数,默认2000

hadoop106配置

#hadoo106配置
dbpath=/opt/module/mongodb/data                    #存放数据目录
logpath=/opt/module/mongodb/logs/mongodb.log        #日志数据目录
pidfilepath=/opt/module/mongodb/mongodb.pid        #pid文件
#keyFile=/opt/module/mongodb/mongodb.key #节点之间用于验证文件,内容必须保持一致,权限600,仅Replica Set 模式有效
directoryperdb=true            #数据库是否分目录存放
logappend=true                #日志追加方式存放
oplogSize=100                #设置oplog的大小(MB)
replSet=testdb                #Replica Set的名字
bind_ip=123.45.67.10        #mongodb绑定的ip地址
port=27019                    #端口
#auth=true                    #是否开启验证
fork=true                    #守护进程运行,创建进程
noprealloc=true                #是否禁用数据文件预分配(往往影响性能)
journal=true                #启用日志选项(将mongodb数据操作写入该文件)
#maxConns=4000                #最大连接数,默认2000

5.启动配置文件(三台虚拟机都需启动)

/opt/module/mongodb/bin/mongod -f /opt/module/mongodb/conf/mongodb.conf

  Mongodb在hadoop集群上的配置 _ JavaClub全栈架构师技术笔记

6.配置主、备、仲裁节点(在hadoop104的mongodb/bin连接到节点)

1)连接主节点

./mongo hadoop104:27017

Mongodb在hadoop集群上的配置 _ JavaClub全栈架构师技术笔记

2)配置

cfg={ _id:"testdb", members:[ {_id:0,host:'hadoop104:27017',priority:1}, {_id:1,host:'hadoop105:27018',priority:1}, {_id:2,host:'hadoop106:27019',priority:0,arbiterOnly:true}] };

Mongodb在hadoop集群上的配置 _ JavaClub全栈架构师技术笔记

3)生效配置文件

rs.initiate(cfg)

4)查看配置状态

rs.status()

如果配置生效会包含如下信息:

{
    "set" : "testdb",
    "date" : ISODate("2020-11-07T02:26:43.565Z"),
    "myState" : 1,
    "term" : NumberLong(13),
    "heartbeatIntervalMillis" : NumberLong(2000),
    "optimes" : {
        "lastCommittedOpTime" : {
            "ts" : Timestamp(0, 0),
            "t" : NumberLong(-1)
        },
        "appliedOpTime" : {
            "ts" : Timestamp(1604715999, 1),
            "t" : NumberLong(13)
        },
        "durableOpTime" : {
            "ts" : Timestamp(1604715999, 1),
            "t" : NumberLong(13)
        }
    },
    "members" : [
        {
            "_id" : 1,
            "name" : "hadoop104:27017",
            "health" : 1,
            "state" : 1,
            "stateStr" : "PRIMARY",
            "uptime" : 1195,
            "optime" : {
                "ts" : Timestamp(1604715999, 1),
                "t" : NumberLong(13)
            },
            "optimeDate" : ISODate("2020-11-07T02:26:39Z"),
            "electionTime" : Timestamp(1604715098, 1),
            "electionDate" : ISODate("2020-11-07T02:11:38Z"),
            "configVersion" : 1,
            "self" : true
        },
        {
            "_id" : 2,
            "name" : "hadoop105:27018",
            "health" : 1,
            "state" : 3,
            "stateStr" : "RECOVERING",
            "uptime" : 909,
            "optime" : {
                "ts" : Timestamp(1603963180, 7553),
                "t" : NumberLong(6)
            },
            "optimeDurable" : {
                "ts" : Timestamp(1603963180, 7553),
                "t" : NumberLong(6)
            },
            "optimeDate" : ISODate("2020-10-29T09:19:40Z"),
            "optimeDurableDate" : ISODate("2020-10-29T09:19:40Z"),
            "lastHeartbeat" : ISODate("2020-11-07T02:26:43.139Z"),
            "lastHeartbeatRecv" : ISODate("2020-11-07T02:26:40.756Z"),
            "pingMs" : NumberLong(0),
            "configVersion" : 1
        },
        {
            "_id" : 3,
            "name" : "hadoop106:27019",
            "health" : 1,
            "state" : 7,
            "stateStr" : "ARBITER",
            "uptime" : 905,
            "lastHeartbeat" : ISODate("2020-11-07T02:26:43.139Z"),
            "lastHeartbeatRecv" : ISODate("2020-11-07T02:26:42.707Z"),
            "pingMs" : NumberLong(0),
            "configVersion" : 1
        }
    ],
    "ok" : 1
}

 

作者:落叶可待
来源链接:https://www.cnblogs.com/luoyeyishi/p/13940071.html

版权声明:
1、JavaClub(https://www.javaclub.cn)以学习交流为目的,由作者投稿、网友推荐和小编整理收藏优秀的IT技术及相关内容,包括但不限于文字、图片、音频、视频、软件、程序等,其均来自互联网,本站不享有版权,版权归原作者所有。

2、本站提供的内容仅用于个人学习、研究或欣赏,以及其他非商业性或非盈利性用途,但同时应遵守著作权法及其他相关法律的规定,不得侵犯相关权利人及本网站的合法权利。
3、本网站内容原作者如不愿意在本网站刊登内容,请及时通知本站(javaclubcn@163.com),我们将第一时间核实后及时予以删除。


本文链接:https://www.javaclub.cn/database/42596.html

标签: MongoDB
分享给朋友:

“Mongodb在hadoop集群上的配置” 的相关文章

WebFlux 集成 Thymeleaf 、 Mongodb 实践,Spring Boot 2

WebFlux 集成 Thymeleaf 、 Mongodb 实践,Spring Boot 2

这是泥瓦匠的第105篇原创 文章工程: JDK 1.8 Maven 3.5.2 Spring Boot 2.1.3.RELEASE 工程名:springboot-webflux-5-thymeleaf-mong...

springboot整合mongodb changestream

前言 changestream是monggodb的3.6版本之后出现的一种基于collection(数据库集合)的变更事件流,应用程序通过db.collection.watch()这样的命令可以获得被监听对象的实时变更 想必对mysql主从复...

WebFlux 集成 Thymeleaf 、 Mongodb 实践 - Spring Boot(六)

WebFlux 集成 Thymeleaf 、 Mongodb 实践 - Spring Boot(六)

这是泥瓦匠的第105篇原创 文章工程: JDK 1.8 Maven 3.5.2 Spring Boot 2.1.3.RELEASE 工程名:springboot-webflux-5-thymeleaf-mong...

CentOS 8.2上安装部署MongoDB 4.4

CentOS 8.2上安装部署MongoDB 4.4

目录 什么是MongoDB?: 环境规格: CentOS 8中安装MongoDB Yum存储库: CentOS 8中为MongoDB设置资源限制: 在CentOS 8上安装MongoDB数据库: C...

Centos7下yum安装mongodb

Centos7下yum安装mongodb

Centos7下yum安装mongodb 简介 MongoDB 是一个基于分布式 文件存储的NoSQL数据库 由C++语言编写,运行稳定,性能高 旨在为 WEB 应用提供可扩展的高性能数据存储解决方案 查看官方网站...

linux (centos)下安装 mongodb  v3.2 笔记

linux (centos)下安装 mongodb v3.2 笔记

  1.下载mongodb      默认都是64位的,这个有点尴尬。。。  centos系统 64位地址: https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel6...

MongoDB 3.6 安装详解

MongoDB 3.6 安装详解

  在ubuntu和多数linux发行版的包安装源中MongoDB默认的版本是2.4,但2.4所使用的存储引擎不支持collecitons级别的锁,只支持database级别的,所以在开发中2.4版本的mongodb写入时会造成锁表的现象,导致数据库性能低下,因此需要更新到3.4版本以...

win10+mongodb安装配置

win10+mongodb安装配置

刚入职新公司,用的mongodb,所以最近开始学习研究mongodb。 mongo的入门学习资料在http://www.runoob.com/mongodb/mongodb-tutorial.html即可。 win10下本地安装mongodb:   首先到官网下载安装...

Windows下安装MongoDB 3.2

Windows下安装MongoDB 3.2

MongoDB 在安装MongoDB 3.2.0版本时,翻看官网安装说明,参照成功安装。为方便日后安装参考,记录此文。文章自己简单翻译,有出入望指教。 MongoDB 安装 确定MongoDB版本 官网提供了三个版本下载:...

mongodb 安装踩坑,显示找不到服务

原因是以前安装过,要卸载干净 https://www.mongodb.com/docs/manual/reference/installation-ubuntu-community-troubleshooting/?_ga=2.120495116....

发表评论

访客

◎欢迎参与讨论,请在这里发表您的看法和观点。