11月10日 mysql阶级2 备份和恢复、主从复制【上海

验证

1、删除的表看看有了没

上海时时乐走势图 1

2、在表删除后其他的表改的记录还在不

上海时时乐走势图 2

OK

还原成功

欢迎补充--

2、mysql的备份和恢复

1、 备份类型:

  • 备份的数据集的范围:
    完全备份和部分备份
    完全备份:整个数据集;
    部分备份:数据集的一部分,比如部分数据库或者部分表;
  • 全量备份、增量备份、差异备份:
    全量备份:完全备份
    增量备份:仅备份自上一次完全备份或增量备份以来变量的那部数据;
    差异备份:仅备份自上一次完全备份以来变量的那部数据;
![](https://upload-images.jianshu.io/upload_images/6854348-921c5720fdfe6362.png)

无标题.png



可以根据生产需要每月进行一次全量备份,每周或者每天进行一次增量或者差异备份
  • 物理备份、逻辑备份:
    物理备份:用cp或者tar命令复制数据文件进行的备份,物理备份的速度快
    逻辑备份:利用客户端工具通过mysql协议连接到数据库,并从数据库导出数据另存在一个或多个文件中;
  • 根据数据服务是否在线:
    热备:读写操作均可进行的状态下所做的备份;
    温备:可读但不可写状态下进行的备份;
    冷备:读写操作均不可进行的状态下所做的备份;
  • 备份策略:
    全量 差异 binlog
    全量 增量 binlog
    备份手段:物理、逻辑
    一般情况下使用物理热备
  • 备份工具:
    ①mysqldump:mysql服务自带的备份工具;逻辑备份工具;
    完全、部分备份;
    InnoDB:热备;
    MyISAM:温备;
    cp/tar
    ②lvm2:逻辑卷,快照(请求一个全局锁),之后立即释放锁,达到几乎热备的效果;物理备份;
    注意:不能仅备份数据文件;要同时备份事务日志;
    前提:要求数据文件和事务日志位于同一个逻辑卷;
    ③xtrabackup:
    由Percona提供,开源工具,支持对InnoDB做热备,物理备份工具;
    完全备份、部分备份;
    完全备份、增量备份;
    完全备份、差异备份;
  • 备份机制:
    xtrabackup:
    全量 差异 binlog
    全量 增量 binlog
    mysqldump:数据很小的时候使用
    全量 binlog
  • 备份什么?
    数据
    二进制日志、InnoDB的事务日志;
    代码(存储过程、存储函数、触发器、事件调度器)
    服务器的配置文件
  • mysqldump的用法
    逻辑备份工具:基于mysql客户端协议
    完全备份、部分备份;
    InnoDB:热备或温备;
    MyISAM:温备;
    二次封装工具:
    mydumper
    phpMyAdmin
    Usage:
    mysqldump [OPTIONS] database [tables] # 备份单库,可以只备份其中的一部分表(部分备份);
    OR mysqldump [OPTIONS] --databases [OPTIONS] DB1 [DB2 DB3...] # 备份多库;
    OR mysqldump [OPTIONS] --all-databases [OPTIONS] # 备份所有库;
    MyISAM存储引擎:支持温备,备份时要锁定表;
    -x, --lock-all-tables:锁定所有库的所有表,读锁;
    -l, --lock-tables:锁定指定库所有表;
    InnoDB存储引擎:支持温备和热备;
    --single-transaction:创建一个事务,基于此快照执行备份,相当于开启一个大的事物,在REPEATABLE-READ的事物隔离级别下,别人修改了提交了你也看不到,此刻备份时可以保证各事物的时间点一致,不然备份的过程中别人可能在修改数据,就会造成各事物的修改时间不是在同一时间,使备份不可用;
    其它选项:
    -R, --routines:备份指定库的存储过程和存储函数;
    --triggers:备份指定库的触发器;
    -E, --events:备份事件调度器
    --master-data[=#]:指明备份时二进制日志文件的名字和所处的位置,备份之后的数据就可以从二进制日志文件的此处位置进行重放
    1:记录为CHANGE MASTER TO语句,此语句不被注释;
    2:记录为CHANGE MASTER TO语句,此语句被注释;
    --flush-logs:备份的同时进行滚动二进制日志;
  • Xtrabackup的用法:
    MyISAM:温备,不支持增量备份;
    InnoDB:热备,增量;
    物理备份,速率快、可靠;备份完成后自动校验备份结果集是否可用;还原速度快;
    Usage: [innobackupex [--defaults-file=#] --backup | innobackupex [--defaults-file=#] --prepare] [OPTIONS]
    备份 --> 应用日志 --> 还原
    应用日志:--apply-log
    还原:--copy-back
    完全备份:
    完全 binlog(总结):
    备份:innobackupex --user --password= --host= /PATH/TO/BACKUP_DIR
    准备:innobackupex --apply-log /PATH/TO/BACKUP_DIR
    恢复:innobackupex --copy-back
    注意:--copy-back需要在mysqld主机本地进行,mysqld服务不能启动;
    innodb_log_file_size可能要重新设定;
    示例1:使用mysqldump对innodb引擎的数据库进行全量 binlog热备
实验环境:172.18.21.107做为正常运行的mysql服务器,172.18.21.7做为备份的主机,把172.18.21.107的mysql数据备份到本机
1、在172.18.21.107上开启二进制日志并启动mariadb服务
vim /etc/my.cnf.d/server.cnf 
log_bin = /app/logs/bin-log ---开启二进制日志
systemcatl start mariadb
2、在172.18.21.7上进行一次全量备份
[root@redhat7 ~]#mysqldump -uroot -pcentos -h172.18.21.107 --single-transaction -R --triggers -E --master-data=2 --flush-logs --databases hidb > /app/hidb-`date " %F-%T"`.sql
[root@redhat7 ~]#cd /app
[root@redhat7 app]#ls
hidb-2017-11-11-08:42:11.sql  
[root@redhat7 app]#less hidb-2017-11-11-08:42:11.sql ---可以看到备份时二进制日志的名字和所处位置
3、在172.18.21.107上插入一个字段、删除一个字段,这些变化都是在全量备份之后进行的数据修改
MariaDB [hidb]> select * from  students;
 ---- ------------ ------ -------- ------------------- 
| id | name       | age  | gender | major             |
 ---- ------------ ------ -------- ------------------- 
|  1 | yangguo    |   25 | F      | anranxiaohuizhang |
|  2 | xiaolongnv |   30 | M      | yunvjian          |
|  3 | guojing    |   50 | F      | xianglong         |
|  4 | huangrong  |   45 | M      | dagoubang         |
|  5 | ouyangfeng |   70 | F      | hamogong          |
 ---- ------------ ------ -------- ------------------- 
MariaDB [hidb]> insert into students 
MariaDB [hidb]> delete from students where id=5;
Query OK, 1 row affected (0.00 sec)

MariaDB [hidb]> select * from  students;
 ---- ------------ ------ -------- ------------------- 
| id | name       | age  | gender | major             |
 ---- ------------ ------ -------- ------------------- 
|  1 | yangguo    |   25 | F      | anranxiaohuizhang |
|  2 | xiaolongnv |   30 | M      | yunvjian          |
|  3 | guojing    |   50 | F      | xianglong         |
|  4 | huangrong  |   45 | M      | dagoubang         |
|  6 | aobama     |   58 | F      | presedent         |
 ---- ------------ ------ -------- ------------------- /
4、将全量备份之后发生的数据改变的二进制日志重定向到一个文件中
[root@centos7 logs]#mysqlbinlog -j 245 bin-log.000005 > /app/binlog.sql
[root@centos7 logs]#scp /app/binlog.sql 172.18.21.7:/app
5、在172.18.21.7上进行恢复操作
systemctl start mariadb   ---注意恢复时不要开启二进制日志,不然会将恢复过程中执行的大量SQL语句记录到二进制日志中
[root@redhat7 app]#mysql < hidb-2017-11-11-08:42:11.sql   ---读取全量备份的内容
[root@redhat7 app]#mysql < binlog.sql    ---读取全量备份之后二进制日志中的内容
[root@redhat7 app]#mysql
MariaDB [(none)]> show databases;  ---可以看到备份的数据库
MariaDBMariaDB [hidb]> select * from students;  ---发现和172.18.21.107上的一样,备份恢复成功
 ---- ------------ ------ -------- ------------------- 
| id | name       | age  | gender | major             |
 ---- ------------ ------ -------- ------------------- 
|  1 | yangguo    |   25 | F      | anranxiaohuizhang |
|  2 | xiaolongnv |   30 | M      | yunvjian          |
|  3 | guojing    |   50 | F      | xianglong         |
|  4 | huangrong  |   45 | M      | dagoubang         |
|  6 | aobama     |   58 | F      | presedent         |
 ---- ------------ ------ -------- ------------------- 
 [(none)]> use hidb;

在percona官方网站上下载xtrabackup及备份举例

https://www.percona.com/
[root@centos7 app]#yum install  percona-xtrabackup-24-2.4.8-1.el7.x86_64.rpm
[root@centos7 app]#rpm -ql percona-xtrabackup-24
/usr/bin/innobackupex  ---innobackupex工具是为了兼容oracle官方innobackup,将xtrabackup进行二次封装,此工具支持客户端远程连接进行备份,所以一般使用这个工具进行备份
/usr/bin/xtrabackup
[root@centos7 app]#mkdir /app/backups  ---在本机创建一个备份的目录
[root@centos7 app]#innobackupex --user=root --password=centos --host=172.18.21.107 /app/backups  ---将整个数据库备份到/app/backups目录下,也可以用--databases 指明只备份某个数据库
[root@centos7 app]#cd backups/
[root@centos7 backups]#ls  ---发现有一个和时间相关的备份目录
2017-11-11_09-50-40
[root@centos7 backups]#cd 2017-11-11_09-50-40
[root@centos7 2017-11-11_09-50-40]#ll
total 18460
-rw-r----- 1 root root      417 Nov 11 09:50 backup-my.cnf   ---配置文件的备份
drwxr-x--- 2 root root       60 Nov 11 09:50 hidb
-rw-r----- 1 root root 18874368 Nov 11 09:50 ibdata1  ---表空间文件备份
drwxr-x--- 2 root root     4096 Nov 11 09:50 mysql
drwxr-x--- 2 root root     4096 Nov 11 09:50 performance_schema
drwxr-x--- 2 root root       20 Nov 11 09:50 test
-rw-r----- 1 root root       19 Nov 11 09:50 xtrabackup_binlog_info ---备份了二进制文件的名字和备份时所处的位置
-rw-r----- 1 root root      113 Nov 11 09:50 xtrabackup_checkpoints  ---记录了备份自己的属性
-rw-r----- 1 root root      491 Nov 11 09:50 xtrabackup_info  ---记录了使用工具的版本及连接到服务器时使用的选项等
-rw-r----- 1 root root     2560 Nov 11 09:50 xtrabackup_logfile  ---xtrbackup执行的日志信息,看不了,是个二进制文件
[root@centos7 2017-11-11_09-50-40]#cat  xtrabackup_checkpoints
backup_type = full-backuped    ---备份类型是全量备份
from_lsn = 0
to_lsn = 2241248
last_lsn = 2241248   ---从哪个日志序列号开始备份到哪个日志序列号结束备份,数据和索引在表空间里保存的时候的编号称为日志序列号
compact = 0  ----是否打包
recover_binlog_info = 0   ---二进制日志保存的时候是否有未完成的事物需要回滚的,0表示没有

使用Xtrabackup对innodb引擎的数据库进行全量 增量 binlog热备

实验环境:172.18.21.107为工作数据库服务器,在172.18.21.7进行恢复操作,在172.18.21.107上开启二进制日志
在两个主机上都要安装xtrabackup工具
1、在172.18.21.7上准备一个干净的mariadb数据库服务器,设置如下
[root@redhat7 app]#systemctl stop mariadb
[root@redhat7 app]#rm -rf /var/lib/mysql/*
2、在172.18.21.107上进行一次全量备份
[root@centos7 app]#mkdir /app/backups  ---创建一个目录做为备份的目录
[root@centos7 app]#innobackupex --user=root --password=centos --host=172.18.21.107 /app/backups/
[root@centos7 app]#cd backups/
[root@centos7 backups]#ls
2017-11-11_16-29-15
3、在172.18.21.107上进行一次数据修改
MariaDB [hidb]> select * from students;
 ---- ----------- ------ -------- ------- 
| id | name      | age  | gender | major |
 ---- ----------- ------ -------- ------- 
|  1 | stu1      |   66 | M      | NULL  |
|  2 | stu2      |   30 | F      | NULL  |
|  3 | stu3      |   18 | M      | NULL  |
|  4 | stu4      |   45 | F      | NULL  |
|  5 | stu5      |   54 | F      | NULL  |
|  6 | stu6      |   97 | F      | NULL  |
|  7 | stu7      |   53 | M      | NULL  |
|  8 | stu8      |   98 | M      | NULL  |
|  9 | stu9      |   30 | M      | NULL  |
| 10 | stu10     |   19 | F      | NULL  |
| 11 | yangguo   |   30 | M      | NULL  |
| 12 | xiaolognv |   37 | F      | NULL  |
 ---- ----------- ------ -------- ------- 
12 rows in set (0.00 sec)

MariaDB [hidb]> delete from students where id=11; 
Query OK, 1 row affected (0.01 sec)

MariaDB [hidb]> delete from students where id=12; 
Query OK, 1 row affected (0.01 sec)

MariaDB [hidb]> select * from students;
 ---- ------- ------ -------- ------- 
| id | name  | age  | gender | major |
 ---- ------- ------ -------- ------- 
|  1 | stu1  |   66 | M      | NULL  |
|  2 | stu2  |   30 | F      | NULL  |
|  3 | stu3  |   18 | M      | NULL  |
|  4 | stu4  |   45 | F      | NULL  |
|  5 | stu5  |   54 | F      | NULL  |
|  6 | stu6  |   97 | F      | NULL  |
|  7 | stu7  |   53 | M      | NULL  |
|  8 | stu8  |   98 | M      | NULL  |
|  9 | stu9  |   30 | M      | NULL  |
| 10 | stu10 |   19 | F      | NULL  |
 ---- ------- ------ -------- ------- 
10 rows in set (0.00 sec)

4、在172.18.21.107中基于上一次全量的基础上进行一次增量备份
[root@centos7 backups]#innobackupex --user=root --password=centos --host=172.18.21.107  --incremental /app/backups/ --incremental-basedir=/app/backups/2017-11-11_16-29-15
[root@centos7 backups]#ls
2017-11-11_16-29-15  2017-11-11_16-32-49
5、在172.18.21.107上再进行一次数据修改
MariaDB [hidb]> insert into students (name,age,gender)values('xiaolognv',37,'F');
Query OK, 1 row affected (0.01 sec)
MariaDB [hidb]> select * from students;
 ---- ----------- ------ -------- ------- 
| id | name      | age  | gender | major |
 ---- ----------- ------ -------- ------- 
|  1 | stu1      |   66 | M      | NULL  |
|  2 | stu2      |   30 | F      | NULL  |
|  3 | stu3      |   18 | M      | NULL  |
|  4 | stu4      |   45 | F      | NULL  |
|  5 | stu5      |   54 | F      | NULL  |
|  6 | stu6      |   97 | F      | NULL  |
|  7 | stu7      |   53 | M      | NULL  |
|  8 | stu8      |   98 | M      | NULL  |
|  9 | stu9      |   30 | M      | NULL  |
| 10 | stu10     |   19 | F      | NULL  |
| 13 | xiaolognv |   37 | F      | NULL  |
 ---- ----------- ------ -------- ------- 

6、在172.18.21.107中在上一次增量备份的基础上进行增量备份
[root@centos7 backups]#innobackupex --user=root --password=centos --host=172.18.21.107  --incremental /app/backups/ --incremental-basedir=/app/backups/2017-11-11_16-32-49
[root@centos7 backups]#ls
2017-11-11_16-29-15  2017-11-11_16-32-49  2017-11-11_16-34-56
[root@centos7 backups]#cd 2017-11-11_16-34-56
[root@centos7 2017-11-11_16-34-56]#ls
backup-my.cnf  ibdata1.delta  mysql               test                    xtrabackup_checkpoints  xtrabackup_logfile
hidb           ibdata1.meta   performance_schema  xtrabackup_binlog_info  xtrabackup_info
[root@centos7 2017-11-11_16-34-56]#cat xtrabackup_checkpoints 
backup_type = incremental   ---后面两次备份的类型都是增量备份
from_lsn = 1617586
to_lsn = 1617886
last_lsn = 1617886
compact = 0
[root@centos7 2017-11-11_16-34-56]#cat xtrabackup_binlog_info  ---最后一次备份时二进制日志所处的位置
bin-log.000001  875
7、在172.18.21.107上进行数据修改
MariaDB [hidb]> insert into students (name,age,gender,major)values('ouyangfeng',55,'F','hamogong');
Query OK, 1 row affected (0.00 sec)

MariaDB [hidb]> select * from students;
 ---- ------------ ------ -------- ---------- 
| id | name       | age  | gender | major    |
 ---- ------------ ------ -------- ---------- 
|  1 | stu1       |   66 | M      | NULL     |
|  2 | stu2       |   30 | F      | NULL     |
|  3 | stu3       |   18 | M      | NULL     |
|  4 | stu4       |   45 | F      | NULL     |
|  5 | stu5       |   54 | F      | NULL     |
|  6 | stu6       |   97 | F      | NULL     |
|  7 | stu7       |   53 | M      | NULL     |
|  8 | stu8       |   98 | M      | NULL     |
|  9 | stu9       |   30 | M      | NULL     |
| 10 | stu10      |   19 | F      | NULL     |
| 13 | xiaolognv  |   37 | F      | NULL     |
| 14 | ouyangfeng |   55 | F      | hamogong |
 ---- ------------ ------ -------- ---------- 

此时此服务器荡机了,但二进制日志保存完好
[root@centos7 app]#mysqlbinlog -j 875 /app/logs/bin-log.000001> /app/binlog.sql    ---将最后一次增量备份到荡机时刻的二进制日志保存到一个文件中
8、在172.18.21.107上进行恢复前的prepare操作
[root@centos7 app]# cd 2017-11-11_16-29-15
[root@centos7 2017-11-11_16-29-15]#innobackupex --apply-log --redo-only ./  ---将全量备份中未完成的事物进行redo
[root@centos7 2017-11-11_16-29-15]#innobackupex --apply-log --redo-only ./ --incremental-dir=/app/backups/2017-11-11_16-32-49    ---将第一个增量备份合并到全量上,并将增量备份中未完成的事物进行redo
[root@centos7 2017-11-11_16-29-15]#innobackupex --apply-log --redo-only ./ --incremental-dir=/app/backups/2017-11-11_16-34-56   ---将第而个增量备份合并到全量上,并将增量备份中未完成的事物进行redo
[root@centos7 2017-11-11_16-29-15]#innobackupex --apply-log  ./    ---最后对全量备份和增量备份中未提交的事物进行回滚,如果没有增量备份,则不用合并直接对全量备份中未提交的事物进行回滚
[root@centos7 2017-11-11_16-29-15]#cat xtrabackup_checkpoints 
backup_type = full-prepared   ---发现已经准备完毕
from_lsn = 0
to_lsn = 1617886
last_lsn = 1617886
compact = 0
[root@centos7 backups]#scp -r 2017-11-11_16-29-15 172.18.21.7:/app  ---把合并好的全量备份文件拷贝到要恢复的主机
[root@centos7 app]#scp binlog.sql 172.18.21.7:/app   ---将准备好的二进制文件也拷贝到要恢复的主机
9、在172.18.21.7上进行恢复操作
[root@redhat7 app]#cd 2017-11-11_16-29-15
[root@redhat7 2017-11-11_16-29-15]#innobackupex --copy-back ./    ---将全量备份的目录中的内容拷贝到mariadb对应的目录下
[root@redhat7 2017-11-11_16-29-15]#cd /var/lib/mysql/
[root@redhat7 mysql]#ls ---发现对应的目录已经生成
hidb  ibdata1  ib_logfile0  ib_logfile1  mysql  performance_schema  test  xtrabackup_binlog_pos_innodb  xtrabackup_info
[root@redhat7 mysql]#chown -R mysql:mysql ./*   ---修改这个目录的属主和属组
[root@redhat7 mysql]#systemctl start mariadb   
---开启服务,这里需要注意,有的时候开启不了,需要修改innodb_log_file_size的值为48M,可以根据日志中提示的进行修改,只要在配置文件加上这条就可以了,但此处却不可以增加,因为和ib_logfile0  ib_logfile1 这两个事物日志文件冲突
[root@redhat7 app]#mysql < binlog.sql  ---将最后一次增量备份到服务器荡机时间段的二进制日志进行重放,此处本机不要启动二进制日志
二进制日志重放时也可以采用如下方法
[root@redhat7 app]#cp binlog.sql /tmp/   ---复制到tmp目录下保证所有用户都可读
[root@redhat7 app]#mysql -uroot -pcentos -h172.18.21.107
MariaDB [(none)]> select @@session.sql_log_bin;
 ----------------------- 
| @@session.sql_log_bin |
 ----------------------- 
|                     1 |
 ----------------------- 
MariaDB [(none)]> set  @@session.sql_log_bin=off;   ---关闭二进制日志
Query OK, 0 rows affected (0.00 sec)

MariaDB [(none)]> select @@session.sql_log_bin;
 ----------------------- 
| @@session.sql_log_bin |
 ----------------------- 
|                     0 |
 ----------------------- 
MariaDB [(none)]> . /tmp/bin-log.sql   ---source这个脚本文件到数据库中
MariaDB [hidb]> select * from students;    ---发现恢复完成
 ---- ------------ ------ -------- ---------- 
| id | name       | age  | gender | major    |
 ---- ------------ ------ -------- ---------- 
|  1 | stu1       |   66 | M      | NULL     |
|  2 | stu2       |   30 | F      | NULL     |
|  3 | stu3       |   18 | M      | NULL     |
|  4 | stu4       |   45 | F      | NULL     |
|  5 | stu5       |   54 | F      | NULL     |
|  6 | stu6       |   97 | F      | NULL     |
|  7 | stu7       |   53 | M      | NULL     |
|  8 | stu8       |   98 | M      | NULL     |
|  9 | stu9       |   30 | M      | NULL     |
| 10 | stu10      |   19 | F      | NULL     |
| 13 | xiaolognv  |   37 | F      | NULL     |
| 14 | ouyangfeng |   55 | F      | hamogong |
 ---- ------------ ------ -------- ---------- 

注意:--copy-back需要在要恢复的mariadb主机本地进行,并且不能启动mariadb服务;innodb_log_file_size可能要重新设定并且可能和事物日志冲突,此时就不要在配置文件中设定了。

备份MySQL数据库为带删除表的格式,能够让该备份覆盖已有数据库而不需要手动删除原有数据库。

2、57主机来还原

注意:还原的时候要禁止除了你之外的所有用户的访问。

停止mysql服务,在my.cnf配置文件中可以加上上面说到一项

1)开启服务前提下并完全备份数据包

mysql < all-2018-08-03.sql

备注:现在只还原到了,备份时的状态,下面再次还原备份后到宕机这段时候发生的操作

2)导入二进制日志

mysqlbinlog  --start-position=385 /root/mysql-bin.000005 > /app/binlog.sql

备注:把00005中从385开始的指令语句导入到一个文件中

mysql < /app/binlog.sql

备注:导入二进制记录的指令

。。。

5、实现基于ssl的主从复制

1、查看所安装的数据库软件是否支持ssl,默认yum安装都是不支持的,需要编译安装的时候加上ssl功能
MariaDB [(none)]> show global variables like '%ssl%';  
 --------------- ---------- 
| Variable_name | Value    |
 --------------- ---------- 
| have_openssl  | DISABLED |
| have_ssl      | DISABLED |
| ssl_ca        |          |
| ssl_capath    |          |
| ssl_cert      |          |
| ssl_cipher    |          |
| ssl_key       |          |
 --------------- ---------- 
7 rows in set (0.00 sec)
2、在主服务器上创建一个用于复制的账号,要求从服务器使用这个账号连接到主服务器时必须使用ssl连接
grant replication client,replication slave on *.* to hello@'172.18.%.%' identified by 'centos' require ssl;
3、在从服务器上创建证书和私钥文件
从服务器上使用change master to命令指明自己的ssl相关选项
help change master to查看使用的选项
比如:change master to master_host='172.18.21.106',master_user='hello',master_password='centos',master_log_file='bin-log.000005',master_log_pos=106,MASTER_SSL_CERT='/etc/pki/tls/certs/mysql.crt',MASTER_SSL_KEY='/etc/pki/tls/certs/mysql.key';   
这里的,MASTER_SSL_CERT='/etc/pki/tls/certs/mysql.crt',MASTER_SSL_KEY='/etc/pki/tls/certs/mysql.key';  是从服务器上的证书和私钥文件路径
4、如果从服务器也需要主服务器提供ssl验证,就需要在主服务器上也创建证书和私钥文件
将证书和私钥文件在主服务器的配置文件中指定
一般情况下主服务器端不需要配置证书和私钥,因为是从服务器去连接主服务器进行复制,所以要求从服务器提供证书和私钥文件进行认证。

其中 –redo-only是只将已提交的事务同步到数据文件中,未提交的事务日志不在进行回滚了。

实战

3、mysql的主从复制

主从复制时,从服务器开启一个io_thread线程连接到主服务器,将主服务器二进制日志中记录的内容保存到本机的中继日志中,复制时从服务器开启一个sql_thread线程,将中继日志中的内容读到内存中进行重放,完成复制操作。
实施过程如下:

172.18.21.107为主,172.18.21.7为从
1、在主和从上都进行的设置
[root@centos7 app]#systemctl stop mariadb
[root@centos7 app]#rm -rf /var/lib/mysql/*
2、在主上的设置
[root@centos7 app]#vim /etc/my.cnf.d/server.cnf 
[server]
skip_name_resolve = on
innodb_file_per_table = on
max_connections = 20000
log_bin = bin-log   ---启动二进制日志,这里写的是相对路径,相对于数据目录/var/lib/mysql
server_id = 1
[root@centos7 app]#systemctl start mariadb
3、在从上的设置
[root@redhat7 mysql]#vim /etc/my.cnf.d/server.cnf 
[server]
skip_name_resolve = on
innodb_file_per_table = on
max_connections = 20000
server_id = 2   ---设置一个服务器的id
relay_log = relay-log   ---启动中继日志
[root@redhat7 mysql]#systemctl start mariadb
4、同步两个服务器的时间,如果没有设置skip_name_resolve = on,还要保证两个主机能互相解析主机名
5、在主服务器上授权一个用户用于复制操作
[root@centos7 app]#mysql
MariaDB [(none)]> grant replication client,replication slave on *.* to repluser@'172.18.%.%' identified by 'centos';
MariaDB [(none)]> flush privileges;
MariaDB [(none)]> show master status;  ---查看正在使用的二进制日志
 ---------------- ---------- -------------- ------------------ 
| File           | Position | Binlog_Do_DB | Binlog_Ignore_DB |
 ---------------- ---------- -------------- ------------------ 
| bin-log.000001 |      492 |              |                  |
 ---------------- ---------- -------------- ------------------ 
6、在从服务器上的设置
[root@redhat7 mysql]#mysql
MariaDB [(none)]> help change master to   ---可以查看一下帮助,看一下change master to 的选项
MariaDB [(none)]> change master to master_host='172.18.21.107',master_user='repluser',master_password='centos',master_log_file='bin-log.000001',master_log_pos=492;
MariaDB [(none)]> show slave status G   ---可以查看从服务器的一些状态信息
MariaDB [(none)]> start slave io_thread,sql_thread;  ---启动从服务器,可以直接写start slave,表示两个线程都启动
MariaDB [(none)]> show slave status G
7、在主服务器上创建一个数据库
MariaDB [(none)]> create database mydb;
8、在从上可以发现复制成功
MariaDB [(none)]> show databases;
 -------------------- 
| Database           |
 -------------------- 
| information_schema |
| mydb               |    ---可以看到主服务器上创建的数据库,说明主从复制成功
| mysql              |
| performance_schema |
| test               |
 -------------------- 
MariaDB [(none)]> show slave status G

总结:如果主服务器已经运行一段时间了,要想实现主从复制,先对主服务器进行一个完全备份,然后在从服务器上进行恢复,使两者的数据达到一致后在开启主从复制功能。从服务器一般要启用read_only=ON,表示只允许读,但只对那些没有supper权限的用户有效,比如对于拥有root权限的用户还是可以写的。

第三次改动数据还未进行增量备份

8、还原增量备份

1)合并00004以及之后的二进制日志文件

mysqlbinlog  --start-position=385 mysql-bin.000004 > /data/binlogs.sql
mysqlbinlog   mysql-bin.000005 >> /data/binlogs.sql
mysqlbinlog   mysql-bin.000006 >> /data/binlogs.sql

2)从合并的二进制日志文件中找到误操作的指令删除或注释

上海时时乐走势图 3

3)scp传送到57目标主机还原

mysql <binlogs.sql

。。。

4、主从复制centos6.9的配置及注意事项

vim /etc/my.cnf 

[root@centos6 mysql]#vim /etc/my.cnf 
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
user=mysql
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
skip_name_resolve = on
innodb_file_per_table = on
max_connections = 20000  ---以上三行不能写到server里,mysql服务启动不了
[server]    ---注意在这里要加上server这一项不然不会生效
server_id = 1
log_bin = bin-log
relay_log = relay-log
auto_increment_offset = 1   
auto_increment_increment = 2
启动slave时要用mysql> start slave io_thread,sql_thread;
不能简写成mysql> start slave,不然开启不了复制操作

(6)备份数据

7、还原完全备份

1)解压完全备份包

gzip -d all-2018-08-03.sql.gz

2)查看解压的文件确定位置

less all-2018-08-03.sql

上海时时乐走势图 4

3)把完整备份传送到57目标主机还原

mysql <all-2018-08-03.sql

4、实现mysql主主复制

在两个服务器上都要开启二进制日志和中继日志
如果两个服务器的数据库id启动自动增长功能,要在配置文件中设置一个的id为奇数,另外一个的id为偶数,或者一个的id为偶数,另外一个的id为奇数,因为如果不这样设置,有可能两个服务器上同时都有用户在写的时候会产生相同的id号造成冲突,所以一般情况下不建议数据库的id号启用自动增长功能,或者用id生成器进行生成。
实施过程如下:

实验环境有两台主机172.18.21.107为a和172.18.21.7为b
1、在a和b服务器上都关闭数据库服务
[root@redhat7 mysql]#systemctl stop mariadb
2、在a服务器上的设置
[root@centos7 app]#vim /etc/my.cnf.d/server.cnf 
[server]
skip_name_resolve = on
innodb_file_per_table = on
max_connections = 20000
log_bin = bin-log   ---开启二级制日志
relay_log = relay-log   ---开启中继日志
server_id = 1
auto_increment_offset = 1   ---表示id号从1开始
auto_increment_increment = 2  ---表示以2为步进,即为奇数
[root@centos7 app]#systemctl start mariadb
3、在b服务器上的设置
[root@redhat7 mysql]#vim /etc/my.cnf.d/server.cnf 
[server]
skip_name_resolve = on
innodb_file_per_table = on
max_connections = 20000
server_id = 2
relay_log = relay-log
log_bin = bin-log
auto_increment_offset = 2
auto_increment_increment = 2
[root@redhat7 mysql]#systemctl start mariadb
4、在a服务器上的设置
[root@centos7 app]#mysql
MariaDB [(none)]> show master status; ---查看二进制日志的名字和位置
 ---------------- ---------- -------------- ------------------ 
| File           | Position | Binlog_Do_DB | Binlog_Ignore_DB |
 ---------------- ---------- -------------- ------------------ 
| bin-log.000002 |      245 |              |                  |
 ---------------- ---------- -------------- ------------------ 
MariaDB [(none)]> select user,password,host from mysql.user;  ---查看一下是否有授权的用户用于主从复制
5、在b服务器上的设置
[root@redhat7 mysql]#mysql
MariaDB [(none)]> show master status;
 ---------------- ---------- -------------- ------------------ 
| File           | Position | Binlog_Do_DB | Binlog_Ignore_DB |
 ---------------- ---------- -------------- ------------------ 
| bin-log.000001 |      245 |              |                  |
 ---------------- ---------- -------------- ------------------ 
MariaDB [(none)]> select user,password,host from mysql.user;
MariaDB [mydb]> grant replication client,replication slave on *.* to 'repluser'@'172.18.%.%' identified by 'centos';   ---发现b服务器上没有授权的用于主从复制的用户,所以授权一个用户
6、在a上的设置
MariaDB [mydb]> change master to master_host='172.18.21.7',master_user='repluser',master_password='centos',master_log_file='bin-log.000001',master_log_pos=245;
MariaDB [mydb]> start slave;
MariaDB [mydb]> show slave status G
7、在b上的设置
MariaDB [mydb]> change master to master_host='172.18.21.107',master_user='repluser',master_password='centos',master_log_file='bin-log.000002',master_log_pos=245;
MariaDB [mydb]> start slave;
MariaDB [mydb]> show slave status G
8、测试
在a和b上查看一下
MariaDB [mydb]> select * from students;  ---刚开始是相同的
 ---- ------- ------ -------- ------- 
| id | name  | age  | gender | major |
 ---- ------- ------ -------- ------- 
|  1 | stu1  |   76 | F      | NULL  |
|  2 | stu2  |   28 | M      | NULL  |
|  3 | stu3  |   42 | F      | NULL  |
|  4 | stu4  |   71 | M      | NULL  |
|  5 | stu5  |   70 | M      | NULL  |
|  6 | stu6  |   77 | F      | NULL  |
|  7 | stu7  |   38 | F      | NULL  |
|  8 | stu8  |   82 | F      | NULL  |
|  9 | stu9  |   83 | M      | NULL  |
| 10 | stu10 |   31 | F      | NULL  |
 ---- ------- ------ -------- ------- 
在a上删除一行
MariaDB [mydb]> delete from students where id=9;
在b上发现也删除了
MariaDB [mydb]> select * from students;
 ---- ------- ------ -------- ------- 
| id | name  | age  | gender | major |
 ---- ------- ------ -------- ------- 
|  1 | stu1  |   76 | F      | NULL  |
|  2 | stu2  |   28 | M      | NULL  |
|  3 | stu3  |   42 | F      | NULL  |
|  4 | stu4  |   71 | M      | NULL  |
|  5 | stu5  |   70 | M      | NULL  |
|  6 | stu6  |   77 | F      | NULL  |
|  7 | stu7  |   38 | F      | NULL  |
|  8 | stu8  |   82 | F      | NULL  |
| 10 | stu10 |   31 | F      | NULL  |
 ---- ------- ------ -------- ------- 

复制时应该注意的问题:
1、从服务设定为“只读”:在从服务器启动read_only,但仅对非SUPER权限的用户有效;
要想阻止所有用户可以申请一个全局读锁:mysql> FLUSH TABLES WITH READ LOCK;
2、尽量确保复制时的事务安全
在master节点启用参数:sync_binlog = ON,表示只要当前节点有事物提交时就立即从内存缓冲区保存到二进制日志中,避免从服务器复制时二进制日志中没有这个提交操作主服务器就坏了,这样从服务器就不知道这个事物该不该提交了
如果用到的是InnoDB存储引擎:
innodb_flush_logs_at_trx_commit=ON ---每当事物提交时就同步到事物日志中
innodb_support_xa=ON 让innodb支持分布式事物
3、从服务器意外中止时尽量避免自动启动复制线程 ,假如从服务器在复制一个事件的时候复制到一半的时候从服务器意外终止了,如果重新启动,复制功能实是会自动开启的,因为在/var/lib/mysql/master.info文件中记录了连接到主服务器的信息,所以启动mariadb服务时会自动启动复制线程,这样就会造成问题,因为终止前的事物复制到一半,不知道该不该提交,为了避免这种事情发生,我们要把网断掉,查看一下是否有复制到一半的事物,如果有手动删除,然后手动加change master to 指向意外终止时主服务器二进制日志的位置,或者重新备份恢复后启动复制功能
4、从节点:设置参数
sync_master_info=ON
sync_relay_log_info=ON

还原MySQL数据库的命令

4、模拟误删除数据表

drop table students;

备注:删除后还么有发现,接着增加其他表的数据

insert teachers (name,age)values('gaoda3',30);

1、mariadb的日志

查询日志:general_log
慢查询日志:log_slow_queries
错误日志:log_error, log_warnings
二进制日志:binlog
中继日志:relay_log
事务日志:innodb_log

1、查询日志
记录查询语句,日志存储位置:
文件:file
表:table (mysql.general_log)         
general_log={ON|OFF}查询日志开启方式
general_log_file=HOSTNAME.log 查询日志文件的名字
log_output={FILE|TABLE|NONE}查询日志的输出位置,如果这里为none,即使general_log为on也不会开启
查询日志一般是不会开启的
2、慢查询日志
慢查询:运行时间超出指定时长的查询;
long_query_time
存储位置:
文件:FILE
表:TABLE,mysql.slog_log  
log_slow_queries={ON|OFF}是否启动慢查询日志
slow_query_log={ON|OFF}慢查询日志是否启动以上两项都要开启才能启动慢查询日志
slow_query_log_file=hostname-slow.log慢查询日志存放的位置,一般存放在数据目录下的此文件
log_output={FILE|TABLE|NONE}
log_slow_filter=admin,filesort,filesort_on_disk,full_join,full_scan,query_cache,query_cache_miss,tmp_table,tmp_table_on_disk出现哪种情况的才启动慢慢查询日志
log_slow_rate_limit慢查询日志的速率,一秒钟记录多少条慢查询日志
log_slow_verbosity慢查询日志记录的详细程度
3、错误日志
记录如下几类信息:
(1) mysqld启动和关闭过程中输出的信息; 
(2) mysqld运行中产生的错误信息; 
(3) event scheduler事件调度器运行时产生的信息;事件调度器相当于mysql的计划任务
(4) 主从复制架构中,从服务器复制线程启动时产生的日志;               
log_error=/var/log/mariadb/mariadb.log|OFF表示关闭错误日志
log_error=/var/log/mariadb/mariadb.log表示开启错误日志,不用加on
log_warnings={ON|OFF}是否记录警告信息到日志文件中,1表示记录,0表示不记录
错误日志一般是要开启的
4、二进制日志
用于记录引起数据改变或存在引起数据改变的潜在可能性的语句(STATEMENT)或改变后的结果(ROW),也可能是二者混合;
功用:用于"重放"日志文件中的事件来生成数据副本
binlog_format={STATEMENT|ROW|MIXED}二进制日志记录的格式
STATEMENT:语句;记录SQL语句
ROW:行;记录语句执行的结果,比如修改年龄大于50的所有人的工资,这样会记录所有符合修改条件的行,而不是记录执行的SQL语句
MIXED:混编;
show global variables like 'binlog_format'
查看二进制日志文件列表:
SHOW MASTER|BINARY LOGS;
查看当前正在使用的二进制日志文件:
SHOW MASTER STATUS;
查看二进制日志文件中的事件:
SHOW BINLOG EVENTS [IN 'log_name'] [FROM pos] [LIMIT [offset,] row_count]
服务器变量:
log_bin=/PATH/TO/BIN_LOG_FILE启动二进制日志,只能写到配置文件中才能启动二进制日志,不能通过命令进行启动,是一个只读变量;
session.sql_log_bin={ON|OFF},运行时设置是否开启二进制日志
max_binlog_size=1073741824大概1g,超过1g就会滚动
sync_binlog={1|0}是否启用二进制日志同步功能,只要事物commit就触发二进制同步操作,将内存缓冲区的信息写到磁盘上的二进制文件中。
mysqlbinlog:客户端命令工具
--start-datetime=根据开始时间查看二进制日志,时间格式YYYY-MM-DD hh:mm:ss
--stop-datetime=根据结束时间
 -j, --start-position=#  根据开始位置
 --stop-position=#  根据结束位置
二进制日志事件格式:
# at 553
#160831  9:56:08 server id 1  end_log_pos 624   Query   thread_id=2     exec_time=0     error_code=0
SET TIMESTAMP=1472608568/*!*/;
BEGIN
/*!*/;  
事件的起始位置:# at 553
事件发生的日期时间:#160831  9:56:08
事件发生的服务器id:server id 1
事件的结束位置:end_log_pos 624
事件的类型:Query
事件发生时所在服务器执行此事件的线程的ID: thread_id=2 
语句的时间戳与将其写入二进制日志文件中的时间差:exec_time=0
错误代码:error_code=0
设定事件发生时的时间戳:SET TIMESTAMP=1472608568/*!*/;
事件内容:BEGIN
中继日志:
主从复制时,从服务器将主服务器的二进制日志先记录到中继日志中,再从中继日志中调到内存进行重放,完成主从复制。
事务日志:
事务型存储引擎innodb用于保证事务特性的日志文件,如果服务器突然断电,开启msyql后会根据事物日志中记录的内容进行提交和回滚操作。
redo log 
undo log 

示例:如何启动和查看二进制日志

[root@centos7 app]#mkdir -pv /app/logs/   ---创建一个目录用于存放二进制日志文件,也可以不创建,直接存放在数据目录下
mkdir: created directory ‘/app/logs/’
[root@centos7 app]#ls
logs
[root@centos7 app]#chown -R mysql:mysql /app/logs
[root@centos7 app]#systemctl stop mariadb
[root@centos7 app]#vim /etc/my.cnf.d/server.cnf 
[server]
skip_name_resolve = on
innodb_file_per_table = on
max_connections = 20000
log_bin = /app/logs/bin-log   ---开启二进制日志,并指明日志文件的位置,如果直接写相对路径/bin-log,表示二进制日志保存在数据目录下
[root@centos7 app]#systemctl start mariadb
[root@centos7 logs]#ls  /app/logs  ----发现生成了两个文件,一个是二进制日志文件,一个是二进制文件的索引文件,正是因为有这个文件我们在执行show binary logs时候才能看到二进制文件的列表
bin-log.000001  bin-log.index
[root@centos7 logs]#!mysql
mysql -uroot -pcentos
MariaDB [(none)]> show binary logs;   ---查看二进制日志文件列表
MariaDB [(none)]> show master status;  ---查看正在使用的二进制日志文件
MariaDB [(none)]> flush logs;   ---让二进制日志文件滚动
服务器端查看二进制日志文件的事件
MariaDB [(none)]> show binlog events in 'bin-log.000001';  ---查看二进制日志文件中的事件
MariaDB [hidb]> insert into students values(5,'ouyangfeng',70,'F','hamogong');
MariaDB [hidb]> select * from students;
MariaDB [hidb]> show binlog events in 'bin-log.000002';
MariaDB [hidb]> show binlog events in 'bin-log.000002' from 313;   ---从哪个位置开始查看二进制日志文件的事件
MariaDB [hidb]> show binlog events in 'bin-log.000002' from 313 limit 1;  ---从哪个位置开始并只显示1行
客户端查看二进制日志文件的事件
[root@centos7 logs]#mysqlbinlog bin-log.000002
[root@centos7 logs]#mysqlbinlog -j 313 --stop-position 437 bin-log.000002   ---查看二进制文件从哪个位置开始从哪个位置结束
[root@centos7 logs]#mysqlbinlog --start-datetime="2017-11-10 21:04:14" bin-log.000002    ---查看二进制文件从哪个时间开始
运行时开启和关闭二进制日志
MariaDB [hidb]> select @@session.sql_log_bin;  ---查看二进制日志已经开启
 ----------------------- 
| @@session.sql_log_bin |
 ----------------------- 
|                     1 |
 ----------------------- 
1 row in set (0.00 sec)

MariaDB [hidb]> set @@session.sql_log_bin=off;  ---关闭二进制日志
Query OK, 0 rows affected (0.00 sec)
MariaDB [hidb]> show session variables like "sql_log_bin";  ---也可用这种方式查看二进制文件是否关闭
 --------------- ------- 
| Variable_name | Value |
 --------------- ------- 
| sql_log_bin   | OFF   |
 --------------- ------- 
[root@stu18 ~]
#mysqldump -uroot -pmypass --lock-all-tables --master-data=2 --events --routines--all-databases > /zhao/database_`date  %F`.sql

准备

1、准备两台主机,我用.17充当mysql主服务器,.57来还原用。

2、17主mysql数据库有以下几个表

上海时时乐走势图 5

3、目录

/data/mysq/:下存放数据库数据

/app/logs/:下存放二进制日志

。。。

OK!       备份完成
切换至备份文件目录查看备份的数据信息及创建生成的文件:

 

[root@stu18 zhao]
# lvcreate -L 100M -s -p r -n mydata-lvm /dev/vg1/mydata

备份阶段

innobakupex命令的–apply-log选项可用于实现上述功能。如下面的命令:

建议:建议二进制日志和数据文件分开存放

1、关闭网络链接,只监听本地端口访问,(在备份还原的时候用)

skip-networking=1

2、禁止主机名解析,ip地址访问的时候,禁止反向解析(建议加上)

skip_name_resolve = on

3、每个表单独使用一个表空间存储表的数据和索引(建议加上)

innodb_file_per_table = on

4、开启并指定二进制文件存放位置

log_bin=/...

。。。

(4)创建快照卷

下面再来演示一个案例-误删除表的恢复

比如我们在某天的12点中做了完全备份,在下一次做完全备份中间有一天执行了删除某张表,删除后等了几个小时才发现表删除了,

在这种场景下,来恢复数据,下面来模拟下。

模拟顺序:完全备份--用户对表的数据修改--删除某张表--未发现用户继续对其他表操作--当访问被删除的表时发现--

准备工作和上面一样,下面进入正题

前几步和前面一样

PS:mysqldump常用命令小结 备份MySQL数据库的命令

1、完全备份

mysqldump -pcentos -A -F --master-data=2 --single-transaction |gzip > /data/all-`date  %F`.sql.gz

备注:

-A:备份全部数据库

-F:切换二进制日志

--master-data=2:记录了基于二进制那个位置备份的,这个点之后是新数据,备份结束点,主从改为1

--single-transaction:保证数据的一致性

mysqldump –all-databases > allbackupfile.sql

3、修改students表(新数据和日志)

1)没修改前

上海时时乐走势图 6

2)加记录

insert students (name,age)values('gaoda1hao',20);

上海时时乐走势图 7

3)查看现在的二进制变化

上海时时乐走势图 8

4)假设现在这台mysql服务器宕机崩溃了,下面开始还原

。。。

2.1、思路概念

3、模拟二进制文件的切换

flush logs;
#

接着增加几条记录

insert students (name,age)values('gaoda2hao',22);
mkdir /mybinlog 
#建立一目录用于存放二进制日志
chown mysql:mysql /mybinlog 
#更改权限
vim /etc/my.cnf 
#修改配置文件
log-bin=/mybinlog/mysql-bin 
#二进制日志目录及文件名前缀,添加之

备份与还原

备份:我们按时定点来备份数据,当下数据最值钱,所以我们要确保数据的安全。

平常我们都是7天一大备,三天两头一小备,也就是说,一周来一个完全备份,1、2、天来一个增量或差异备份。

确保那天服务器宕机或误操作,能恢复过来。

还原:当服务器负重过量会导致宕机,或有时候我们误操作,删除了某张重要的数据表等等,这时候就要用到我们之前备份的数据来恢复。

简单说下备份的类型,

冷备:读写操作均不可进行

温备:读操作可执行;但写操作不可执行

热备:读写操作均可执行

MyISAM:温备,不支持热备
InnoDB: 都支持

简单说下常用的备份工具,

LVM的快照:先加锁,做快照后解锁,几乎热备;借助文件系统工具进行备份

mysqldump:逻辑备份工具,适用所有存储引擎,温备;支持完全或部分备份;对InnoDB存储引擎支持热备,结合binlog的增量备份

xtrabackup:由Percona提供支持对InnoDB做热备(物理备份)的工具,支持完全备份、增量备份

备注:以上除了xtrabackup,都是基于完整备份包以及二进制日志来恢复数据库的,二进制日志记录了增删改语句的操作指令,拿过来重放,

为了保障数据的安全,需要定期对数据进行备份。备份的方式有很多种,效果也不一样。一旦数据库中的数据出现了错误,就需要使用备份好的数据进行还原恢复。从而将损失降到最低。下面我们来了解一下MySQL常见的有三种备份恢复方式:

1、完全备份

mysqldump -pcentos -A -F --master-data=2 --single-transaction |gzip > /data/all-`date  %F`.sql.gz
[root@stu18 ~]
# cd /usr/local/mysql/
[root@stu18 mysql]
# scripts/mysql_install_db --user=mysql --datadir=/mydata/data

前言

对于我们运维来说,在mysql数据库领域,别的不说,最起码要会两大技能!

第一大技能:备份与还原

第二大技能:主从异步

关于这两大技能我们先来说说第一个

[root@stu18 ~]
# innobackupex --apply-log--redo-only /innobackup/2013-08-14_08-14-12/--incremental-dir=/innobackup/2013-08-14_08-29-05/

2、解压并查看

gzip -d all-2018-08-03.sql.gz
less all-2018-08-03.sql

上海时时乐走势图 9

备注:记住这个文件以及数字,一会还原的时候要用

mysqldump -hhostname -uusername -ppassword –databases databasename1 databasename2 databasename3 > multibackupfile.sql

2、模拟误删除表前的修改

insert students (name,age)values('gaoda1hao',20);

。。。

备注:这期间加了好多数据,可能二进制文件已经满了,进行了切换

解析:–start-position=14203是上次全备之后的二进制事件位置;–stop-position=14527最近一天的二进制事件位置。

5、发现问题并及时禁止用户写权限(只能读)

flush tables with read lock;

备注:现在只能root用户可以读写其他用户是不能修改数据的

上海时时乐走势图 10

。。。

2.4、模拟数据库损坏,实现恢复工作

6、干净系统还原

1)停止服务

systemctl stop mairadb

2)删除所有mysql数据库数据

rm -rf /var/lib/mysql/

3)确保用户不能访问服务器 配置文件加上

skip-networking

4)启动服务

 

[root@stu18 ~]
# innobackupex -apply-log /innobackup/2013-08-14_07-04-49/
#############如果执行正确,其最后输出的几行信息通常如下################
xtrabackup: starting shutdown with innodb_fast_shutdown = 1
130814 7:39:33 InnoDB: Starting shutdown...
130814 7:39:37 InnoDB: Shutdown completed; log sequence number 1606156
130814 07:39:37 innobackupex: completed OK!

验证

1、看表存在不

上海时时乐走势图 11

2、看表数据正不正确

上海时时乐走势图 12

OK 还原成功

 

mysql> FLUSH TABLES WITH READ LOCK;
mysql> FLUSH LOGS;

还原阶段

上面规划的是用57这台主机来还原,首先这台主机必须是干净的mysql数据库

结果显示数据正确完整,但是第三次的改动信息未生效。

1、scp传送

1)传送完全备份文件到目标主机

scp all-2018-08-03.sql 192.168.43.57:

2)传送上面图中00005文件以及之后的二进制文件到目标主机

scp mysql-bin.000005 192.168.43.57:
[root@stu18 ~]
# service mysqld stop
[root@stu18 ~]
# cd /mydata/data/
[root@stu18 data]
# rm -rf *
mysql> use hellodb;
mysql> INSERT INTO students(Name,Age,Gender,ClassID,TeacherID) values ('Yang kang',22,'M',3,3);

(2)初始化mysql将其数据目录指向/mydata/data

[root@stu18 hellodb]
# ls
classes.frm coc.MYD  courses.MYI scores.MYI teachers.frm testtb.ibd
classes.MYD coc.MYI  db.opt  students.frm teachers.MYD toc.frm
classes.MYI courses.frm scores.frm students.MYD teachers.MYI toc.MYD
coc.frm  courses.MYD scores.MYD students.MYI testtb.frm toc.MYI
mysql> use hellodb;   
#指定默认数据库
Database changed
mysql> CREATE TABLE testtb (id int,name CHAR(10));  
#创建表
Query OK, 0 rows affected (0.35 sec)
mysql> INSERT INTO testtb VALUES (1,'tom');   
#添加数据
Query OK, 1 row affected (0.09 sec)
[root@stu18 data]
# mysqlbinlog --start-position=187 mysql-bin.000004 > /zhao/lvmlogbin_2013-08-14/binlog.sql   #日志实现增量备份

系统介绍:CentOS6.4_X64
数据库版本:mysql-5.5.33

[root@stu18 data]
# innobackupex --user=root --password=mypass --incremental /innobackup --incremental-basedir=/innobackup/2013-08-14_08-14-12/

(4)恢复数据(基于innobackupex基于完全 增量)

直接将MySQL数据库压缩备份

备份MySQL数据库为带删除表的格式

第二次增量备份“准备”也就是说将第二次增量备份也合并到了完全备份中

(3)当数据恢复至数据目录以后,还需要确保所有数据文件的属主和属组均为正确的用户,如mysql,否则,在启动mysqld之前还需要事先修改数据文件的属主和属组。

[root@stu18 data]
# cp -a * /zhao/lvmback-2013-08-14/

查看二进制日志文件将未备份数据的二进制日志导出

四:基于xtrabackup来实现备份恢复

[root@stu18 data]
# cp mysql-bin.000001/innobackup/

3.1、思路明细

4.5、模拟数据库崩溃实现完全恢复

4.1、优势特性

4.6、使用innobackupex进行增量备份

方法一: 导出二进制日志文件内容

[root@stu18 ~]
# innobackupex --apply-log --redo-only/innobackup/2013-08-14_08-14-12/

(1)创建逻辑卷及挂载逻辑卷,此过程在此就不做演示了

[root@stu18 data]
# mysqlbinlog --start-position=14203 --stop-position=14527 mysql-bin.000001 > /zhao/binlog_`date  %F_%H`.sql
[root@stu18 data]
# service mysqld start

3.4、过程展示

解析:–lock-all-tables表示为所有表施加读锁;–master-data=2表示在备份文件中记录当前二进制日志的位置;–events表示备份数据的同时备份时间调度器代码;–routines表示备份数据的同时备份存储过程和存储函数;–all-databases表示备份所有库。

[root@stu18 ~]
# mysql -uroot -pmypas
mysql> select * from coc;
 ---- --------- ---------- 
| ID | ClassID | CourseID |
 ---- --------- ---------- 
| 1|  1 |  2 |
| 2|  1 |  5 |
| 3|  2 |  2 |
| 4|  2 |  6 |
| 5|  3 |  1 |
| 6|  3 |  7 |
| 7|  4 |  5 |
| 8|  4 |  2 |
| 9|  5 |  1 |
| 10 |  5 |  9 |
| 11 |  6 |  3 |
| 12 |  6 |  4 |
| 13 |  7 |  4 |
| 14 |  7 |  3 |
 ---- --------- ---------- 
14 rows in set (0.00 sec)

(2)从完全备份中恢复数据(谨记:在恢复数据之前千万不可初始化数据库和启动服务)
innobackupex命令的–copy-back选项用于执行恢复操作,其通过复制所有数据相关的文件至mysql服务器DATADIR目录中来执行恢复过程。innobackupex通过backup-my.cnf来获取DATADIR目录的相关信息。

(1)Mysqldump全备
由于Mysql数据库默认的为MyISAM存储引擎所以只有使用温备(备份同时仅支持读请求)进行,所以我们要为所有数据库添加读锁

[root@stu18 ~]
# service mysqld stop
[root@stu18 ~]
# cd /mydata/data/
[root@stu18 data]
# rm -rf *
mysql> delete from coc where id=14;
[root@stu18 ~]
# innobackupex --apply-log--redo-only /innobackup/2013-08-14_08-14-12/ --incremental-dir=/innobackup/2013-08-14_09-08-39/
mysql> SHOW MASTER STATUS;
 ------------------ ---------- -------------- ------------------ 
| File    | Position | Binlog_Do_DB | Binlog_Ignore_DB |
 ------------------ ---------- -------------- ------------------ 
| mysql-bin.000004 |  187 |    |     |
 ------------------ ---------- -------------- ------------------ 
[root@stu18 zhao]
# mysql -uroot -pmypass -e 'SHOW MASTER STATUS;' >/zhao/lvmback-2013-08-14/binlog.txt

使用innobakupex备份时,其会调用xtrabackup备份所有的InnoDB表,复制所有关于表结构定义的相关文件(.frm)、以及MyISAM、MERGE、CSV和ARCHIVE表的相关文件,同时还会备份触发器和数据库配置信息相关的文件。这些文件会被保存至一个以时间命令的目录中。完全备份命令如下:

(5)更改属组属主

[root@stu18 mysql]
# vim /etc/my.cnf
datadir = /mydata/data 
#查看此项是否定义数据目录位置
sync_binlog=1 
#添加此项,每个事务提交时候,把事务日志从缓存区写到日志文件中,并且刷新日志文件的数据到磁盘上;
[root@stu18 mysql]
# service mysqld start

若有错误无法安装请安装perl-DBD-mysql依赖包

(6)启动查看

针对文件解析:

LVM快照全备 二进制日志增备(对于即时点恢复还要恢复至后续的二进制位置)

 [root@stu18 ~]
# cd /innobackup/2013-08-14_07-04-49/
[root@stu18 2013-08-14_07-04-49]
# ls
backup-my.cnf myclass    student   xtrabackup_binlog_info
hellodb  mysql    test    xtrabackup_checkpoints
ibdata1  performance_schema xtrabackup_binary xtrabackup_logfile
mysqldump -–add-drop-table -uusername -ppassword databasename > backupfile.sql
[root@stu18 ~]
# yum -y install perl-DBD-mysql

第一次增量备份“准备”也就是说将第一次增量备份合并到了完全备份中

注意:每一次恢复完成之后一定要重新做一次完全备份工作!!

[root@stu18 ~]
# ls /mydata/data/
hellodb  myclass   mysql-bin.000003 stu18.magedu.com.err
ibdata1  mysql    mysql-bin.000004 stu18.magedu.com.pid
ib_logfile0 mysql-bin.000001 mysql-bin.index  student
ib_logfile1 mysql-bin.000002 performance_schema test

说明:每个InnoDB的页面都会包含一个LSN信息,每当相关的数据发生改变,相关的页面的LSN就会自动增长。这正是InnoDB表可以进行增量备份的基础,即innobackupex通过备份上次完全备份之后发生改变的页面来实现。
第一次改动数据实现增量备份
实现增量备份可以使用下面的命令进行:

其中,/innobackup指的是完全备份所在的目录,此命令执行结束后,innobackupex命令会在/backup目录中创建一个新的以时间命名的目录以存放所有的增量备份数据。–incremental-basedir是指向上一次完全备份所在的目录。

(1)由于笔者这里将二进制日志和数据文件写在了同一个文件目录下所以在模拟数据库崩溃前必须先复制出二进制日志文件,所以建议看客们将数据目录和二进制目录分开存放,不要和笔者一样犯如此二的错误。方法如下:
前提是在刚刚建立服务器尚未启动服务器之前做如下操作;

[root@stu18 ~]
# rpm -ivh percona-xtrabackup-2.1.4-656.rhel6.x86_64.rpm

Mysqldump全备 二进制日志增备

[root@stu18 data]
# mysqlbinlog mysql-bin.000001 >/zhao/binlog_`date  %F`.sql

(7)二进制实现增量备份

其中的innodb_file_per_table为ON则表示实现了单表单空间。若为OFF则需要使用mysqldump全备然后更改配置文件删除原来的数据文件并重新初始化服务器最后将数据重新导入。所以建议以后在安装Mysql服务器时将其选项默认设置成1即可(innodb_file_per_table = 1)。单表单空间的数据显示形式为:

还原压缩的MySQL数据库

实现过程及说明:

第二次改动数据进行增量备份:

[root@stu18 ~]
# service mysqld stop
[root@stu18 ~]
# cd /mydata/data/
[root@stu18 data]
# rm -rf *
[root@stu18 ~]
# cd /mydata/data/
[root@stu18 data]
# chown -R mysql:mysql *

(5)立即切换终端释放锁

[root@stu18 ~]
# cp /zhao/lvmback-2013-08-14/* /mydata/data/ -a   #完全备份恢复
[root@stu18 ~]
# cd /mydata/data/    #查看恢复数据内容
[root@stu18 data]
# chown -R mysql.mysql * #更改属主属组
[root@stu18 data]
# service mysqld start  #启动服务
[root@stu18 data]
# mysql -uroot –pmypass #登录测试


mysql> SHOW DATABASES;  
#查看数据完整性,无测试表testtd使用二进制恢复
mysql> SET sql_log_bin=0 
#关闭二进制日志
mysql> source /zhao/lvmlogbin_2013-08-14/binlog.sql; 
#二进制恢复
mysql> SHOW TABLES;   
#查看恢复结果
 ------------------- 
| Tables_in_hellodb |
 ------------------- 
| classes   |
| coc    |
| courses   |
| scores   |
| students   |
| teachers   |
| testtb   |
| toc    |
 ------------------- 
mysql> SET sql_log_bin=1; 
#开启二进制日志

完全以热备的形式进行,能够实现快速可靠地完全备份和部分备份,支持增量备份,支持时间点还原,备份过程中不会打扰到事务操作,能够实现网络传输和压缩功能从而有效的节约磁盘空间,备份完成后可自动验证数据是否可用,恢复速度较快等等。更多优势特性请参考

mysqldump –no-data –databases databasename1 databasename2 databasename3 > structurebackupfile.sql

(7)基于二进制日志实现数据恢复
查看最后一次增量备份二进制日志所在的位置:

这种备份方式恢复简单,但是恢复还原之后索引会出现错误需要重建,而且备份结果会占据很大的空间,请酌情使用。

mysql> DROP DATABASE hellodb;    
#删除数据库
############下面这些过程要在离线状态下执行############
mysql> SET sql_log_bin=0;     
#先关闭二进制日志
mysql> flush logs;      
#滚动日志
[root@stu18 ~]
# mysql -uroot -pmypass < /zhao/database_2013-08-13.sql #导入数据库备份文件
[root@stu18 ~]
# mysql -uroot -pmypass < /zhao/binlog_2013-08-13_19.sql #导入增量备份文件
[root@stu18 ~]
# mysql -uroot –pmypass #登录查看,恢复完成
mysql> SET sql_log_bin=1;

(9)恢复数据

同时备份多个MySQL数据库

完全备份“准备”

仅仅备份数据库结构

恢复数据

总结:以上三种备份恢复都是可以基于二进制日志文件进行的,因而体现出了二进制日志的重要性,从而映射出了日志的重要性;所以学习查看使用日志文件是学习Mysql的重中之重!

[root@stu18 innobackup]
# mysqlbinlog mysql-bin.000001
# at 780
#130814 9:20:19 server id 1 end_log_pos 851 Query thread_id=7 exec_time=0 error_code=0
SET TIMESTAMP=1376443219/*!*/;
BEGIN
/*!*/;
# at 851
#130814 9:20:19 server id 1 end_log_pos 944 Query thread_id=7 exec_time=0 error_code=0
SET TIMESTAMP=1376443219/*!*/;
delete from coc where id=14
/*!*/;
# at 944
#130814 9:20:19 server id 1 end_log_pos 1016 Query thread_id=7 exec_time=0 error_code=0
SET TIMESTAMP=1376443219/*!*/;
COMMIT
/*!*/;
DELIMITER ;
# End of log file
ROLLBACK /* added by mysqlbinlog */;
/*!50003 SET COMPLETION_TYPE=@OLD_COMPLETION_TYPE*/;
/*!50530 SET @@SESSION.PSEUDO_SLAVE_MODE=0*/;
[root@stu18 innobackup]
# mysqlbinlog --start-position=780 mysql-bin.000001 > ./all.sql  #导出数据

您可能感兴趣的文章:

  • MySQL数据库备份与恢复方法
  • MySQL忘记密码恢复密码的实现方法
  • 用mysqldump备份和恢复指定表的方法
  • MySQL数据库恢复(使用mysqlbinlog命令)
  • 详解Mysql自动备份与恢复的几种方法(图文教程)
  • mysql 误删除ibdata1之后的恢复方法
  • MYSQL使用.frm恢复数据表结构的实现方法
  • MySQL单表ibd文件恢复方法详解
  • Mysql实现增量恢复的方法详解

(1)LVM这种备份方式要求Mysql的数据保存在逻辑卷上
(2)需要给Mysql服务器施加读锁(mysql>FLUSH TABLES WITH READLOCK;),这里不可直接退出服务器
(3)另起终端为数据所在的卷创建快照(lvcreate),保证事务日志和数据文件必须在同一卷上(分别创建可能会导致数据文件和事务日志不一致,从而可能导致无法正常恢复)

下载percona-xtrabackup最新的版本为2.1.4(percona-xtrabackup-2.1.4-656.rhel6.x86_64.rpm)
安装:

将数据库转移到新服务器

1、利用Mysqldump 二进制日志实现备份
2、利用LVM快照 二进制日志实现备份
3、使用Xtrabackup备份

(2)二进制全备

4.2、安装Xtrabackup

Mysqldump命令的工作原理很简单,它先查出需要备份的表的结构,再在文本文件中生成一个CREATE语句。然后,将表中的所有记录转换为一条INSTERT语句。这些CREATE语句和INSTERT语句都是还原时使用的。还原数据时就可以使用其中的CREATE语句来创建表。使用其中的INSERT语句来还原数据。它可以实现整个服务器备份,也可以实现单个或部分数据库、单个或部分表、表中的某些行、存储过程、存储函数、触发器的备份;并且能自动记录备份时刻的二进制日志文件及相应的位置。对于InnoDB存储引擎来讲支持基于单事务模式实现热备,对于MyISAM则最多支持温备。

(1)xtrabackup_checkpoints —— 备份类型(如完全或增量)、备份状态(如是否已经为prepared状态)和LSN(日志序列号)范围信息;
每个InnoDB页(通常为16k大小)都会包含一个日志序列号,即LSN。LSN是整个数据库系统的系统版本号,每个页面相关的LSN能够表明此页面最近是如何发生改变的。
(2)xtrabackup_binlog_info —— mysql服务器当前正在使用的二进制日志文件及至备份这一刻为止二进制日志事件的位置。
(3)xtrabackup_binary —— 备份中用到的xtrabackup的可执行文件;
(4)backup-my.cnf —— 备份时用到的配置选项信息,也就是配置文件中关于mysqld的相关文件配置;
(5) xtrabackup_logfile —— 非文本文件是xtrabackup本身的日志文件;

mysqldump -uusername -ppassword databasename | mysql –host=*.*.*.* -C databasename

(3)二进制增备
首先添加数据信息

(4)启动服务器登陆查看恢复完成。

然后二进制增备

# chown -R mysql:mysql /mydata/data/
mysqldump -hhostname -uusername -ppassword databasename | gzip > backupfile.sql.gz
mysqldump -hhostname -uusername -ppassword databasename specific_table1 specific_table2 > backupfile.sql
[root@stu18 ~]
# mysql -uroot –pmypass
mysql> SET SQL_LOG_BIN=0;   
#关闭二进制日志
mysql> source /innobackup/all.sql 
#导入数据
mysql> SET SQL_LOG_BIN=1;   
#开启二进制日志
mysql> select * from coc;   
#查看数据,恢复完成
 ---- --------- ---------- 
| ID | ClassID | CourseID |
 ---- --------- ---------- 
| 1 |  1 |  2 |
| 2 |  1 |  5 |
| 3 |  2 |  2 |
| 4 |  2 |  6 |
| 5 |  3 |  1 |
| 6 |  3 |  7 |
| 7 |  4 |  5 |
| 8 |  4 |  2 |
| 9 |  5 |  1 |
| 10 |  5 |  9 |
| 11 |  6 |  3 |
| 12 |  6 |  4 |
| 13 |  7 |  4 |
 ---- --------- ---------- 
13 rows in set (0.00 sec)

第二次增量备份的执行命令和第一次大致相同,只有其–incremental-basedir应该指向上一次的增量备份所在的目录。

Mysqldump是一个逻辑备份命令;意思就是将数据库中的数据备份成一个文本文件;也可以说是将表的结构和数据存储在文本文件中。

二:基于Mysqldump命令实现备份恢复

mysql> flush logs; 
#滚动日志
[root@stu18 data]
# cp mysql-bin.000001 /zhao/mysql-bin.000001 #复制导出二进制文件
mysql> SHOW GLOBAL VARIABLES LIKE 'innodb_file%';
 -------------------------- ---------- 
| Variable_name   | Value |
 -------------------------- ---------- 
| innodb_file_format  | Antelope |
| innodb_file_format_check | ON  |
| innodb_file_format_max | Antelope |
| innodb_file_per_table | ON  |
 -------------------------- ---------- 
[root@stu18 data]
# cd /innobackup/2013-08-14_09-08-39/
[root@stu18 2013-08-14_09-08-39]
# cat xtrabackup_binlog_info
mysql-bin.000001 780

(8)模拟数据库崩溃

mysql -hhostname -uusername -ppassword databasename < backupfile.sql

(1)确保事务日志和数据文件必须在同一卷上

这种备份恢复方式完全以热备的形式实现完全备份和增量备份和二进制日志还原数据,并且恢复速度也很快,是最佳的备份恢复方式!!

一:实验环境介绍:

[root@stu18 zhao]
# less database_2013-08-13.sql
--   
#表示注释项
-- Position to start replication or point-in-time recovery from
--
-- CHANGE MASTER TO MASTER_LOG_FILE='mysql-bin.000001', MASTER_LOG_POS=14203; 
#这里表示当前处于mysql-bin.000001这个二进制日志中,事件为14203这是通过--master-data=2产生的
--
-- Current Database: `hellodb`
--
CREATE DATABASE /*!32312 IF NOT EXISTS*/ `hellodb` /*!40100 DEFAULT CHARACTER SET utf8 */;

解析:其中ib_logfile0与ib_logfile1是日志文件
(2)施加全局锁并滚动日志

(1)模拟崩溃

# innobackupex --user=DBUSER--password=DBUSERPASS /path/to/BACKUP-DIR/

一般情况下,在备份完成后,数据尚且不能用于恢复操作,因为备份的数据中可能会包含尚未提交的事务或已经提交但尚未同步至数据文件中的事务。因此,此时数据文件仍处于不一致状态。“准备”的主要作用正是通过回滚未提交的事务及同步已经提交的事务至数据文件从而使得数据文件处于一致性状态。

三、基于LVM快照实现备份恢复

注意:不同的环境依赖的关系包可能有多个,请依照提示进行配置

首先注意“准备”增量备份与整理完全备份有着一些不同,尤其要注意的是:
1)需要在每个备份(包括完全和各个增量备份)上,将已经提交的事务进行“重放”。“重放”之后,所有的备份数据将合并到完全备份上。
2)基于所有的备份将未提交的事务进行“回滚”。

备份服务器上所有数据库

3.3、前提条件

2.2、备份策略

mysql> UNLOCK TABLES;

4.4、准备一个完全备份

gunzip < backupfile.sql.gz | mysql -uusername -ppassword databasename

备份MySQL数据库某个(些)表

方法二:滚动日志复制文件

mysqldump -hhostname -uusername -ppassword databasename > backupfile.sql

4.3、完全备份

好了言归正传复制二进制日志文件:

[root@stu18 ~]
# innobackupex --user=root --password=mypass --incremental /innobackup --incremental-basedir=/innobackup/2013-08-14_08-29-05/

3.2、备份策略

(2)模拟服务器崩溃

注意:以上这些优势特性只能在InnoDB引擎上完美实现,而在MyISAM存储引擎上依然最多只能使用温备的形式进行并且还不支持增量备份。
另外Xtrabackup更多的高级功能还依赖于Mysql数据库对于InnoDB实现了单独的表空间,否则也就没有办法实现单表导入导出查看方式如下:

[root@stu18 ~]
# innobackupex --copy-back /innobackup/2013-08-14_07-04-49/
#############如果执行正确,其最后输出的几行信息通常如下################
innobackupex: Starting to copy InnoDB log files
innobackupex: in '/innobackup/2013-08-14_07-04-49'
innobackupex: back to original InnoDB log directory '/mydata/data'
innobackupex: Copying '/innobackup/2013-08-14_07-04-49/ib_logfile0' to '/mydata/data'
innobackupex: Copying '/innobackup/2013-08-14_07-04-49/ib_logfile1' to '/mydata/data'
innobackupex: Finished copying back files.
130814 07:58:22 innobackupex: completed OK!

2.3、过程实现

4.7、使用innobackupex基于完全 增量 二进制日志恢复数据

[root@stu18 ~]
# mkdir /innobackup    #创建备份文件目录
[root@stu18 ~]
# innobackupex --user=root --password=mypass /innobackup/ #完全备份
################如果执行正确其后输出的几行信息通常如下###############
xtrabackup: Transaction log of lsn (1604655) to (1604655) was copied. 
#二进制日志的位置(lsn)
130814 07:04:55 innobackupex: All tables unlocked
innobackupex: Backup created in directory '/innobackup/2013-08-14_07-04-49'
#备份文件保存的位置
innobackupex: MySQL binlog position: filename 'mysql-bin.000003', position 538898
130814 07:04:55 innobackupex: Connection to database server closed
130814 07:04:55 innobackupex: completed

(3)编辑查看配置文件,重启服务

(3)查看并保存当前正在使用的二进制日志及当前执行二进制日志位置(非常重要)

[root@stu18 ~]
# innobackupex --copy-back/innobackup/2013-08-14_08-14-12/

(3)准备备份

此工具是接近于热备的方式实现的,并且用此方法来备份恢复数据速度是非常快的。

本文由上海时时乐走势图发布于上海时时乐走势图,转载请注明出处:11月10日 mysql阶级2 备份和恢复、主从复制【上海

您可能还会对下面的文章感兴趣: