运维
  • 知识体系
    • 运维体系
    • 缓存体系
    • 安全体系
  • 自动化
    • 服务器初始化
      • 用户操作记录监控
    • 自动化运维
      • 自动化生成域名信息
    • JAVA后端自动化构建发布
    • PHP-laravel自动化构建发布
    • EXE自动化构建发布(CocosCreator)
    • 前端自动化构建发布
    • 苹果自动化构建发布
    • 安卓自动化构建发布
      • VirtualBox 安卓自动化构建发布
      • Docker 安卓自动化构建发布
    • 项目自动化构建发布
    • 自动化下注
    • 常见下载器 docker 启动方式
  • 监控
    • 服务器负载监控
      • 监控CPU
      • 监控磁盘
      • 监控内存
    • 域名跳炸监控
    • serverstatus
    • 接口监控报警
    • zabbix监控部署
      • zabbix-dockerfile.sh
      • zabbix-install.sh
    • glances监控部署
      • glances.sh
      • glances_alert.sh
    • ssh 登录/登出监控
    • 文件变动监控
    • 宝塔时时监控域名
    • 飞书日志监控
    • 监控进程
  • 服务
    • go-install.sh
    • jenkins-install.sh
      • k8s.jenkins
    • redis-install.sh
      • k8s.redis
    • node-install.sh
      • k8s.node
    • nginx-install.sh
      • k8s.nginx
    • NGINX
      • nginx+GeoIP2模块编译
      • Nginx根据不同浏览器语言配置跳转
      • Nginx根据用户ip返回对应地区语言
      • nginx log 正则分析
      • 应对网站扫描/攻击/采集方法
    • 自建fiora聊天服务器
    • Laravel 部署
      • Laravel 部署:环境一键安装
      • Laravel 部署:Nginx 配置
      • Laravel 部署:文件夹权限
      • Laravel 部署:PHP-fpm 配置调优
      • Laravel 部署:服务器优化清单
    • ELK传统方式部署
    • ELK 分析nginx日志
    • GitLab迁移数据
  • 区块链
    • 区块链威胁情报共享平台
    • 以太坊公链私链geth同步
    • 比特节点同步
    • BTC节点错误解决方法
    • eth硬分叉
    • omni钱包节点搭建
    • 区块链钱包系统设计架构
  • Docker
    • Centos7
      • 安装docker
      • 安装redis
      • 搭建Nginx
      • 搭建Jenkins
      • 搭建Zookeeper
        • zookeeper集群
      • 搭建Tomcat
      • 搭建Mysql
      • 搭建PHP环境
      • 搭建Swagger
      • 部署owncloud云盘
      • 部署ES
        • ELK 分析 Laravel 日志
      • java容器运行外置jar
      • 部署etcd节点
    • docker阿里云私有仓库
    • Docker-compose
      • 启动gitlab
      • 创建mysql数据库
      • gitlab-docker-compose.yml
      • nginx-docker-compose.yml
  • showdoc
  • 数据库
    • 授权
    • 开启远程访问及相关权限控制
    • 快速导出导入大数据
    • 单机备份
    • 加密并切片备份到飞机群
    • 异地备份
    • binlog日志
    • docker 搭建mysq主从
    • docker搭建主从数据库及读写分离
    • docker快速恢复备份数据库
  • Telegram机器人
    • SHELL命令完成信息推送
    • Javacript创建信息推送页面
    • node远程执行shell命令
  • 安全
    • 后台安全登陆
    • github渗透测试工具库
    • 漏洞扫描-AWVS-Nessus-Docker版
    • AWVS13.X 破解版Windows、Linux、Docker
    • 操作图片元信息(Megadata)
    • 一键测试服务器到国内外各地速度脚本
  • 翻墙
    • 4K高清看P站和X站翻墙教程
    • 翻墙后重度使用的13个网站及app,深度适合国人
  • 色站自动化
    • 自动化下载片源
    • 自动化按照 AV 分类下载种子 脚本
    • 自动化切片打水印字幕
    • 自动化发布片源
    • ffmpeg一键切片并发布
  • 进阶技术
    • 哈希hash下注
    • 翻译 php 代码内 中文 为 泰语
      • bash 版
      • python 版
    • shell实现多线程
    • 多线程parallel命令 「纯干货」
    • 6our.com 刷评论广告
    • 90tiyu.com 撞库出电话
      • 90tiyu.com_guangzhou.sh
      • 90tiyu.com_guiyang.sh
      • 90tiyu.com_guilin.sh
    • tianhoo.cn 撞库出邮箱
    • 俄罗斯方块游戏
  • go开发环境
  • VPN
  • 生产环境docker部署
Powered by GitBook
On this page
  1. 数据库

docker 搭建mysq主从

Previousbinlog日志Nextdocker搭建主从数据库及读写分离

Last updated 3 years ago

1. 前言

之前的程序架构可能是这样的一种形式:

当程序体量扩大后,我们进行扩展,可能会扩展多个后台服务实例,但数据库还是只有一个,所以系统的瓶颈还是在数据库上面,所以这次的主要任务就是对数据库进行扩展,主要形式为:扩展多台数据库实例,实现读写分离,对于一些写的任务分配到主数据库,对于读的任务使用子数据库进行读取。从而提高系统性能。

修改后的架构如下所示:

2. 环境预搭建

这次使用docker来进行这个环境的搭建,使用MySQL版本为5.7.13。

整体结构为:

  • 1个master主节点,作为写的节点。

  • 2个slave从节点,作为读的节点。

先分别将这几个节点启动,映射到不同的端口。在本机使用数据库连接工具连接,测试是否正常启动且正常连接。

docker run -p 3307:3306 --name mysql-master -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7.13

docker run -p 3308:3306 --name mysql-slave1 -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7.13

docker run -p 3309:3306 --name mysql-slave2 -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7.13

我这里分别将主节点(mysql-master)映射为3307端口,两个从节点(mysql-slave1,2)分别为3308和3309端口。然后设置MySQL的root密码为123456。

然后可以使用navicat等工具连接测试MySQL。

分别进入这几个节点,编辑配置文件。

docker exec -it mysql-master /bin/bash

我使用的是name来进入容器,也可以根据id来选择,即docker exec -it 对应容器的id /bin/bash。

由于没有预先安装vi和vim程序,然后要下载时需要执行apt update命令,这时会从国外源进行下载。由于众所周知的原因,速度很慢。我就将下载源更改为国内源。

进入到/etc/apt文件夹中,首先将原有的文件进行备份:

mv sources.list sources.list.bak

然后使用如下命令新建文件并输入内容:

echo deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted universe multiverse > sources.list
apt update
apt install vim

然后我们再执行apt update等操作,最后安装vim即可。

3. 进行主从配置

主节点(master)配置

进入主节点容器后,进入/etc/mysql文件夹中,会有一个my.cnf文件,主要对它进行修改。

编辑这个文件,找到[mysqld],在这个下面添加如下命令:

[mysqld]
#...
#...
## 唯一的编号
server-id=101
## 这个是关键配置项
log-bin=mysql-bin

配置完成后,需要重启MySQL服务使配置生效。使用service mysql restart命令进行重启,重启完成后会关闭MySQL的容器,我们还要重启容器docker restart mysql-master。

从节点(slave)配置

同主节点一样,编辑/etc/mysql/my.cnf文件

[mysqld]
#...
#...
## 唯一的编号
server-id=103
## 选,如果需要将该节点作为其他节点的主节点则需要添加
# log-bin=mysql-bin

链接主节点和从节点

主节点

在主节点容器中进入MySQLmysql -u root -p,密码就是启动容器时设置的123456。

进入MySQL后执行show master status;:

从这里我们得到两个信息File和Position的值,我这里分别是mysql-bin.000001和154。

从节点

进入MySQL,执行如下的命令:

change master to master_host='***', 
master_port=3306, 
master_user='root', 
master_password='123456', 
master_log_file='****', 
master_log_pos= ***;

分别解释一下这几个参数代表的意思:

master_host:主节点的ip地址,可以在本机使用中如下命令来查看容器的ip地址

docker inspect --format='{{.NetworkSettings.IPAddress}}' 容器名称|容器id

master_port:mysql的端口号,不是对外映射的端口号

master_user:mysql中的用户,要有权限,我直接使用了root,也可以新建用户来使用

master_password:用于同步的mysql帐户密码

master_log_file:用于同步的文件,就是从主节点查询到的文件,我这里是mysql-bin.000001

master_log_pos:binlog文件开始同步的位置, 就是从主节点查询到的位置,我这里是154

执行刚刚的命令后在MySQL终端执行show slave status \G;来查看主从同步状态。

我们可以从这里查看配置的信息来进行核查,然后可以看到两个属性slave_io_running和slave_sql_running都是no,也就是关闭状态。

我们可以执行start slave来开启主从复制,执行后再次执行show slave status \G;命令可以看到两个属性都变成了yes,则说明主从复制已经开启。

如果启动未成功,我们可以检查网络是否连通,同步用到的mysql密码是否正确,还有就是同步文件名称和位置是否正确!

测试

我们可以在主库中新建一个数据库,到从库中如果看到这个库的存在就表示主从同步完成。

4. 级联配置

我想再加一个备份节点,并且这个节点是从slave1节点进行备份的,也就是slave1节点作为backup节点的主节点。这就构成了master->slave->backup这样一个级联关系。

我本来是按照上面的步骤,先在slave的my.cnf中添加了

log-bin=mysql-slave-bin #为了区分,我对文件名进行了修改

接着在backup节点执行的

change master to master_host='***', 
master_user='root', 
master_password='123456', 
master_port=3306, 
master_log_file='****', 
master_log_pos= ***;

命令换成对应slave节点的ip等属性。结果发现不行。在主节点有更改后,备份节点并没有变更!

于是我开始了排查,发现在slave节点中的binlog文件并没有更改信息的记录,而backup节点相当于监听这个文件变更,这个文件没有变更所以backup节点也就不会有更改。这里延伸一点,mysql的binlog记录了我们所有更改的操作,所以理论上我们可以通过binlog来恢复任一时间刻的数据库内容。

于是问题就转变成,主节点变更后如何让从节点的binlog日志有记录。

我们可以在编辑my.cnf文件时再添加一行:log_slave_updates=1即可,让slave在接到master同步后也将二进制日志写到自己的binlog中。

这样就可以完成,主节点进行更改后,从节点和备份节点都会进行变更,备份节点的数据是从从节点备份过去的。