itfan123MySQL命令行工具之mysqldump深入研究
原创mysqldump 是MySQL用于逻辑备份的命令行工具。数据库和表的结构以及表中的数据可以导出为：create database, create table, insert into的sql句。当然，它也可以导出 存储过程、触发器、函数、调度事件(events)。无论是程序员还是DBA经常使用的工具。
1. mysqldump --help
mysqldump 有很多选择，让我们来看看他的帮助文档：
mysqldump Ver 10.13 Distrib 5.6.26, for linux-glibc2.5 (i686) Copyright (c) 2000, 2015, Oracle and/or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective owners.
Dumping structure and contents of MySQL databases and tables. Usage: mysqldump [OPTIONS] database [tables] OR mysqldump [OPTIONS] --databases [OPTIONS] DB1 [DB2 DB3...] OR mysqldump [OPTIONS] --all-databases [OPTIONS]
Default options are read from the following files in the given order:
/etc/my.cnf /etc/mysql/my.cnf /usr/local/mysql/etc/my.cnf ~/.my.cnf
The following groups are read: mysqldump client
The following options may be given as the first argument:
--print-defaults Print the program argument list and exit.
--no-defaults Dont read default options from any option file,
except for login file.
--defaults-file=# Only read default options from the given file #.
--defaults-extra-file=# Read this file after the global files are read.
--defaults-group-suffix=#
Also read groups with concat(group, suffix)
--login-path=# Read this path from the login file.
-A, --all-databases Dump all the databases. This will be same as --databases
with all databases selected.
-Y, --all-tablespaces
Dump all the tablespaces.
-y, --no-tablespaces
Do not dump any tablespace information.
--add-drop-database Add a DROP DATABASE before each create.
--add-drop-table Add a DROP TABLE before each create.
(Defaults to on; use --skip-add-drop-table to disable.)
--add-drop-trigger Add a DROP TRIGGER before each create.
--add-locks Add locks around INSERT statements.
(Defaults to on; use --skip-add-locks to disable.)
--allow-keywords Allow creation of column names that are keywords.
--apply-slave-statements
Adds STOP SLAVE prior to CHANGE MASTER and START
SLAVE to bottom of dump.
--bind-address=name IP address to bind to.
--character-sets-dir=name
Directory for character set files.
-i, --comments Write additional information.
(Defaults to on; use --skip-comments to disable.)
--compatible=name Change the dump to be compatible with a given mode. By
default tables are dumped in a format optimized for
MySQL. Legal modes are: ansi, mysql323, mysql40,
postgresql, oracle, mssql, db2, maxdb, no_key_options,
no_table_options, no_field_options. One can use several
modes separated by commas. Note: Requires MySQL server
version 4.1.0 or higher. This option is ignored with
earlier server versions.
--compact Give less verbose output (useful for debugging). Disables
structure comments and header/footer constructs. Enables
options --skip-add-drop-table --skip-add-locks
--skip-comments --skip-disable-keys --skip-set-charset.
-c, --complete-insert
Use complete insert statements.
-C, --compress Use compression in server/client protocol.
-a, --create-options
Include all MySQL specific create options.
(Defaults to on; use --skip-create-options to disable.)
-B, --databases Dump several databases. Note the difference in usage; in
this case no tables are given. All name arguments are
regarded as database names. USE db_name; will be
included in the output.
-#, --debug[=#] This is a non-debug version. Catch this and exit.
--debug-check Check memory and open file usage at exit.
--debug-info Print some debug info at exit.
--default-character-set=name
Set the default character set.
--delayed-insert Insert rows with INSERT DELAYED.
--delete-master-logs
Delete logs on master after backup. This automatically
enables --master-data.
-K, --disable-keys /!40000 ALTER TABLE tb_name DISABLE KEYS /; and
/!40000 ALTER TABLE tb_name ENABLE KEYS /; will be put
in the output.
(Defaults to on; use --skip-disable-keys to disable.)
--dump-slave[=#] This causes the binary log position and filename of the
master to be appended to the dumped data output. Setting
the value to 1, will printit as a CHANGE MASTER command
in the dumped data output; if equal to 2, that command
will be prefixed with a comment symbol. This option will
turn --lock-all-tables on, unless --single-transaction is
specified too (in which case a global read lock is only
taken a short time at the beginning of the dump - dont
forget to read about --single-transaction below). In all
cases any action on logs will happen at the exact moment
of the dump.Option automatically turns --lock-tables off.
-E, --events Dump events.
-e, --extended-insert
Use multiple-row INSERT syntax that include several
VALUES lists.
(Defaults to on; use --skip-extended-insert to disable.)
--fields-terminated-by=name
Fields in the output file are terminated by the given
string.
--fields-enclosed-by=name
Fields in the output file are enclosed by the given
character.
--fields-optionally-enclosed-by=name
Fields in the output file are optionally enclosed by the
given character.
--fields-escaped-by=name
Fields in the output file are escaped by the given
character.
-F, --flush-logs Flush logs file in server before starting dump. Note that
if you dump many databases at once (using the option
--databases= or --all-databases), the logs will be
flushed for each database dumped. The exception is when
using --lock-all-tables or --master-data: in this case
the logs will be flushed only once, corresponding to the
moment all tables are locked. So if you want your dump
and the log flush to happen at the same exact moment you
should use --lock-all-tables or --master-data with
--flush-logs.
--flush-privileges Emit a FLUSH PRIVILEGES statement after dumping the mysql
database. This option should be used any time the dump
contains the mysql database and any other database that
depends on the data in the mysql database for proper
restore.
-f, --force Continue even if we get an SQL error.
-?, --help Display this help message and exit.
--hex-blob Dump binary strings (BINARY, VARBINARY, BLOB) in
hexadecimal format.
-h, --host=name Connect to host.
--ignore-table=name Do not dump the specified table. To specify more than one
table to ignore, use the directive multiple times, once
for each table. Each table must be specified with both
database and table names, e.g.,
--ignore-table=database.table.
--include-master-host-port
Adds MASTER_HOST=
| Variables (--variable-name=value) and boolean options {FALSE | TRUE} Value (after reading options) |
|---|
all-databases FALSE all-tablespaces FALSE no-tablespaces FALSE add-drop-database FALSE add-drop-table TRUE add-drop-trigger FALSE add-locks TRUE allow-keywords FALSE apply-slave-statements FALSE bind-address (No default value) character-sets-dir (No default value) comments TRUE compatible (No default value) compact FALSE complete-insert FALSE compress FALSE create-options TRUE databases FALSE debug-check FALSE debug-info FALSE default-character-set utf8 delayed-insert FALSE delete-master-logs FALSE disable-keys TRUE dump-slave 0 events FALSE extended-insert TRUE fields-terminated-by (No default value) fields-enclosed-by (No default value) fields-optionally-enclosed-by (No default value) fields-escaped-by (No default value) flush-logs FALSE flush-privileges FALSE force FALSE hex-blob FALSE host (No default value) include-master-host-port FALSE insert-ignore FALSE lines-terminated-by (No default value) lock-all-tables FALSE lock-tables TRUE log-error (No default value) master-data 0 max-allowed-packet 25165824 net-buffer-length 1046528 no-autocommit FALSE no-create-db FALSE no-create-info FALSE no-data FALSE order-by-primary FALSE port 0 quick TRUE quote-names TRUE replace FALSE routines FALSE set-charset TRUE single-transaction FALSE dump-date TRUE socket /var/lib/mysql/mysql.sock secure-auth TRUE ssl FALSE ssl-ca (No default value) ssl-capath (No default value) ssl-cert (No default value) ssl-cipher (No default value) ssl-key (No default value) ssl-crl (No default value) ssl-crlpath (No default value) ssl-verify-server-cert FALSE tab (No default value) triggers TRUE tz-utc TRUE user (No default value) verbose FALSE where (No default value) plugin-dir (No default value) default-auth (No default value)
总体而言，帮助文档分为两部分。上一节是对各种选项的解释，而后一节是mysqldump各种选项的默认值。
mysqldump拥有过多的选项表明它非常灵活和强大。为了更好地理解，它的众多选项和参数可以根据其功能分为几类来介绍。
在此之前，我们需要澄清mysqldump所有默认选项的值及其含义。
2. mysqldump 默认选项：
| Variables (--variable-name=value) and boolean options {FALSE | TRUE} Value (after reading options) |
|---|
all-databases FALSE all-tablespaces FALSE no-tablespaces FALSE add-drop-database FALSE add-drop-table TRUE add-drop-trigger FALSE add-locks TRUE allow-keywords FALSE apply-slave-statements FALSE bind-address (No default value) character-sets-dir (No default value) comments TRUE compatible (No default value) compact FALSE complete-insert FALSE compress FALSE create-options TRUE databases FALSE debug-check FALSE debug-info FALSE default-character-set utf8 delayed-insert FALSE delete-master-logs FALSE disable-keys TRUE dump-slave 0 events FALSE extended-insert TRUE fields-terminated-by (No default value) fields-enclosed-by (No default value) fields-optionally-enclosed-by (No default value) fields-escaped-by (No default value) flush-logs FALSE flush-privileges FALSE force FALSE hex-blob FALSE host (No default value) include-master-host-port FALSE insert-ignore FALSE lines-terminated-by (No default value) lock-all-tables FALSE lock-tables TRUE log-error (No default value) master-data 0 max-allowed-packet 25165824 net-buffer-length 1046528 no-autocommit FALSE no-create-db FALSE no-create-info FALSE no-data FALSE order-by-primary FALSE port 0 quick TRUE quote-names TRUE replace FALSE routines FALSE set-charset TRUE single-transaction FALSE dump-date TRUE socket /var/lib/mysql/mysql.sock secure-auth TRUE ssl FALSE ssl-ca (No default value) ssl-capath (No default value) ssl-cert (No default value) ssl-cipher (No default value) ssl-key (No default value) ssl-crl (No default value) ssl-crlpath (No default value) ssl-verify-server-cert FALSE tab (No default value) triggers TRUE tz-utc TRUE user (No default value) verbose FALSE where (No default value) plugin-dir (No default value) default-auth (No default value)
其中一些默认值是 false, 有的是 true有些没有默认值。
我们需要关注的是 默认为 true，也就是 mysqldump 默认选项是给我的，它们的具体含义如下 ：
add-drop-table TRUE 表示在生成相应的表结构语句之前生成它 DROP TABLE IF EXISTS table\_name; 语句
add-locks TRUE 在生成的表中表示数据 insert into table\_name values(...) 之前生成 LOCK TABLES tab WRITE;语句
comments TRUE 指示注释的生成，这意味着所有 -- 开头的解释，例如：-- Dumping data for for table tab. 最好启用它;
create-options TRUE 生成表结构时，它将生成：ENGINE=InnoDB AUTO_INCREMENT=827 DEFAULT CHARSET=utf8; 其他表创建选项
default-character-set utf8 指定语句：/!40101 SET NAMES utf8 /;字符集;也许您需要将其更改为 --default-character-set=utf8mb4
disable-keys TRUE 表示生产 insert 在语句之前，生成：/!40000 ALTER TABLE tbl DISABLE KEYS /; 可以加快insert速度；
extended-insert TRUE 指示生产insert是insert into tbl values(...),(...),数据行根据net-buffer-length拆分并合并为多个batch insert
lock-**tables * TRUE 指示在导出过程中将锁定所有表;
max-allowed-packet 25165824 最大支持 24M 数据包;
net-buffer-length 1046528 1M大小的socket buffer
quick TRUE 导出语句时，不要缓存直接输出到控制台或文件;
quote-names TRUE 指示表名和列名的使用 `` 符号包装;防止关键字错误;
set-charset TRUE default-character-set=utf8指定字符集，同时--set-charset=1/0 指示是否生成/!40101 SET NAMES utf8 /;
dump-date TRUE 指示是否在导出文件的末尾生成导出时间：-- Dump completed on 2015-09-15 11:15:10
secure-auth TRUE 表示登录时采用新的加密算法确定密码，拒绝新的加密算法
triggers TRUE 表示生成触发器脚本;
tz-utc TRUE 指示是否生成：/!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE /; /!40103 SET TIME_ZONE=+00:00 */;
如果要关闭这些打开的默认选项，则需要明确指定：mysqldump -uxxx -p aazj --extended-insert= 0 Users > Users.sql; =0 指示该选项已关闭。
通过组合一个示例可以最好地理解上述默认选项：
-- MySQL dump 10.13 Distrib 5.6.26, for linux-glibc2.5 (i686)
-- Host: localhost Database: gs
-- Server version 5.6.26-log
/!40101 SET @OLD_CHARACTER_SET_CLIENT=@@CHARACTER_SET_CLIENT /; /!40101 SET @OLD_CHARACTER_SET_RESULTS=@@CHARACTER_SET_RESULTS /; /!40101 SET @OLD_COLLATION_CONNECTION=@@COLLATION_CONNECTION /; /!40101 SET NAMES utf8 /; /!40103 SET @OLD_TIME_ZONE=@@TIME_ZONE /; /!40103 SET TIME_ZONE=+00:00 /; /!40014 SET @OLD_UNIQUE_CHECKS=@@UNIQUE_CHECKS, UNIQUE_CHECKS=0 /; /!40014 SET @OLD_FOREIGN_KEY_CHECKS=@@FOREIGN_KEY_CHECKS, FOREIGN_KEY_CHECKS=0 /; /!40101 SET @OLD_SQL_MODE=@@SQL_MODE, SQL_MODE=NO_AUTO_VALUE_ON_ZERO /; /!40111 SET @OLD_SQL_NOTES=@@SQL_NOTES, SQL_NOTES=0 /;
--
-- Current Database: gs
CREATE DATABASE /!32312 IF NOT EXISTS/ gs /!40100 DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_bin /;
USE gs;
--
-- Table structure for table user
DROP TABLE IF EXISTS user;
/!40101 SET @saved_cs_client = @@character_set_client /;
/!40101 SET character_set_client = utf8 /;
CREATE TABLE user (
id int(11) NOT NULL AUTO_INCREMENT,
name varchar(30) COLLATE utf8mb4_bin DEFAULT NULL,
sex tinyint(4) DEFAULT NULL,
phone varchar(20) COLLATE utf8mb4_bin DEFAULT NULL,
addr varchar(255) COLLATE utf8mb4_bin DEFAULT NULL,
PRIMARY KEY (id)
) ENGINE=InnoDB AUTO_INCREMENT=4 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;
/!40101 SET character_set_client = @saved_cs_client /;
--
-- Dumping data for table user
LOCK TABLES user WRITE;
/!40000 ALTER TABLE user DISABLE KEYS /;
INSERT INTO user VALUES (1,yuanfang,1,14465463786,hangzhou),(2,Andy,0,14465463786,beijing),(3,peter,0,14465463786,Hongkong);
/!40000 ALTER TABLE user ENABLE KEYS /;
UNLOCK TABLES;
/!40103 SET TIME_ZONE=@OLD_TIME_ZONE /;
/!40101 SET SQL_MODE=@OLD_SQL_MODE /; /!40014 SET FOREIGN_KEY_CHECKS=@OLD_FOREIGN_KEY_CHECKS /; /!40014 SET UNIQUE_CHECKS=@OLD_UNIQUE_CHECKS /; /!40101 SET CHARACTER_SET_CLIENT=@OLD_CHARACTER_SET_CLIENT /; /!40101 SET CHARACTER_SET_RESULTS=@OLD_CHARACTER_SET_RESULTS /; /!40101 SET COLLATION_CONNECTION=@OLD_COLLATION_CONNECTION /; /!40111 SET SQL_NOTES=@OLD_SQL_NOTES /;
-- Dump completed on 2015-10-22 10:16:37
2. mysqldump 与登录到服务器相关的选项
Default options are read from the following files in the given order:
/etc/my.cnf /etc/mysql/my.cnf /usr/local/mysql/etc/my.cnf ~/.my.cnf
The following groups are read: mysqldump client
The following options may be given as the first argument:
--no-defaults Dont read default options from any option file, except for login file.
--defaults-file=# Only read default options from the given file #.
--defaults-extra-file=# Read this file after the global files are read.
--defaults-group-suffix=# Also read groups with concat(group, suffix)
--login-path=# Read this path from the login file.
1）mysqldump 作为客户端工具，它将搜索上诉目录 my.cnf 文件，然后 从此文件读取 [mysqldump] 和 [client] 以下选项 ；
2）那些 defaults 相关选项单独指定 配置文件和登录文件，很少使用;
-u, --user=name User for login if not current user.
-p, --password[=name] Password to use when connecting to server. If password is not given its solicited on the tty.
-h, --host=name Connect to host.
-P, --port=# Port number to use for connection.
--protocol=name The protocol to use for connection (tcp, socket, pipe, memory).
--max-allowed-packet=# The maximum packet length to send to or receive from server.
--net-buffer-length=# The buffer size for TCP/IP and socket communication.
3）这些选项指定 登录用户名、密码、mysqld IP地址、端口、用于连接的协议等。
常用的有 -h192.168.2.xx -uxxx -p ，如果mysqld默认端口不是3306，那么您需要使用 -Pxxx 指定端口.
--max-allowed-packet 我们的一般配置是my.cnf中。--net-buffer-length 用于优化网络连接socket buffer.
使用示例： mysqldump -h192.168.1.20 -uxxx -p -P3057
3. mysqldump 选择与备份内容相关的选项
我们可以选择备份所有数据库，一定数量的数据库，某个数据库，某个数据库中一定数量的表，某个数据库中的表;
您可以选择是否备份 存储过程和函数、触发器、计划事件.
1）选择导出的数据库 和 表：
-A, --all-databases Dump all the databases. This will be same as --databases with all databases selected.
-B, --databases Dump several databases. Note the difference in usage; in this case no tables are given. All name arguments are
regarded as database names. USE db_name; will be included in the output.
database [tables] 导出数据库 database 中的表结构 和 表中的数据;
2）选择是否导出 数据库创建、表创建语句、导出与否 表中数据：
-n, --no-create-db Suppress the CREATE DATABASE ... IF NOT EXISTS statement that normally is output for each dumped database if
--all-databases or --databases is given. (不导出数据库创建语句: CREATE DATABASE，这意味着不导出库结构)
-t, --no-create-info Dont write table creation info. (不导出表创建语句)
-d, --no-data No row information. (不导出数据，有时候我们只需要导出表结构，这只是一个表创建语句)
3）选择是否导出 存储过程和函数、触发器、计划事件：
-R, --routines Dump stored routines (functions and procedures). (导出存储过程和函数)
--triggers Dump triggers for each dumped table. (Defaults to on; use --skip-triggers to disable.) (导出触发器)
--skip-triggers 不导出触发器
-E, --events Dump events. 导出计划事件(根据备份的目的进行选择，如果要构建slave然后不要出口events.)
4）指定不导出 库中的表：
--ignore-table=name Do not dump the specified table. To specify more than one table to ignore, use the directive multiple times,
once for each table. Each table must be specified with both database and table names,
e.g., --ignore-table=database.table. (导出数据库时，从导出中排除一个或多个表)
5) 按照 where 条件导出：
-w, --where=where_condition Dump only selected records. Quotes are mandatory.
6）使用示例：
Dumping structure and contents of MySQL databases and tables.
Usage: mysqldump [OPTIONS] database [tables]
OR mysqldump [OPTIONS] --databases [OPTIONS] DB1 [DB2 DB3...]
OR mysqldump [OPTIONS] --all-databases [OPTIONS]
1> 导出单个表的结构和数据：mysqldump -uxxx -p db1 tb1 > tb1.sql; 导出数据库 db1 中的 表 tb1 的表结构 和 表中的数据;
2> 导出多个表的结构和数据：mysqldump -uxxx -p db1 tb1 tb2 > tb1_tb2.sql; 导出数据库 db1 中的 表 tb1、tb2 的表结构 和 表中的数据;
3> 导出单个表的结构：mysqldump -uxxx -p --no-data db1 tb1 > tb1.sql; 导出数据库 db1 中的 表 tb1 的表结构; 实际上，它也可以使用: show create table tb1
4> 我们不能使用它 mysqldump 到达 只导出某个或某几个表的数据，而不导出表创建语句的目的。
但是我们可以使用 select from table into outfile file.sql, 比如： select from Users into outfile /tmp/Users.sql; 请注意，目录需要写入权限。
5> 从单个库中导出库结构、表结构和表数据：mysqldump -uxxx -p --databases db1 > db1.sql
6> 从多个库中导出库结构、表结构和表数据：mysqldump -uxxx -p --databases db1 db2 > db1_db2.sql
7> 从单个库中导出库结构、表结构和非表数据：mysqldump -uxxx -p --no-data --databases db1 > db1.sql
8> 从单个库导出数据，不带库或表结构：mysqldump -uxxx -p --no-create-db --no-create-info --databases db1 > db1.sql
9> 从多个库中导出库结构、表结构和非表数据：mysqldump -uxxx -p --no-data --databases db1 db2 > db1_db2.sql
10> 导出所有数据库中的内容 库 数据库结构、表结构、数据：mysqldump -uxxx -p --all-databases > all.sql
11> 导出所有数据库中的内容 库 数据库结构，表结构，无数据：mysqldump -uxxx -p --all-databases --no-data > all.sql
12> 从单个库（不包括表）导出库结构、表结构和表数据：mysqldump -uxxx -p --databases db1 --ignore-table =db1.test > db1.sql
4. mysqldump 事务 和 数据一致性(锁) 的相关选项
在使用mysqldump事务和数据一致性选项在逻辑备份期间至关重要。
1） --single-transaction
Creates a consistent snapshot by dumping all tables in a single transaction . Works ONLY for tables stored in storage engines which
support multiversioning (currently only InnoDB does); the dump is NOT guaranteed to be consistent for other storage engines .
While a --single-transaction dump is in process, to ensure a valid dump file (correct table contents and binary log position), no other
connection should use the following statements: ALTER TABLE, DROP TABLE, RENAME TABLE, TRUNCATE TABLE , as consistent
snapshot is not isolated from them. Option automatically turns off --lock-tables.
--single-transaction 可以获得一致的导出结果。他通过将导出行为放入事务中来实现自己的目标。
它有一些要求： 只能是 innodb 发动机;在导出过程中，没有人可以执行它 alter table, drop table, rename table, truncate table等DDL语句 。
实际上DDL将被事务阻止，因为事务包含表的metadata lock 共享锁，以及DDL会申请metadata lock由于相互排斥而被阻止。
--single-transaction 将自动关闭 --lock-tables 选项 ；正如我们上面提到的mysqldump默认情况下将打开它 --lock-tables 它将在导出过程中锁定所有表。
因为 --single-transaction 将自动关闭--lock-tables所以单独使用--single-transaction我不会使用锁。和 --master-data 只有一起使用时，才能有锁。
2）--lock-tables
如上所述，此选项默认处于打开状态。它的功能是 在导出过程中锁定所有表 。--single-transaction 和 --lock-all-tables 此选项将被关闭。
3）--lock-all-tables
Locks all tables across all databases. This is achieved by taking a global read lock for the duration of the whole dump .
Automatically turns --single-transaction and --lock-tables off. 启用此选项将自动关闭 --single-transaction 和 --lock-tables.
在上述三个选项中，只有 --lock-tables 默认值为打开;打开 --single-transaction 或者 打开 --lock-all-tables 都将关闭 --lock-tables. 而--lock-all-tables将自动关闭 --single-transaction 和 --lock-tables。所以这三者是相互排斥的。我们一次只能启用一个选项。
4）--flush-logs
Flush logs file in server before starting dump. Note that if you dump many databases at once (using the option --databases= or
--all-databases), the logs will be flushed for each database dumped . The exception is when using --lock-all-tables or
--master-data: in this case the logs will be flushed only once, corresponding to the moment all tables are locked . So if you want your
dump and the log flush to happen at the same exact moment you should use --lock-all-tables or --master-data with --flush-logs.
实现导出数据和刷新日志的一致性(同时发生)，必须将 --flush-logs 选项和 --lock-all-tables 或者 --master-data 一起使用：
mysqldump --flush-logs --lock-all-tables; mysqldump --flush-logs --master-data=2 ；
5）--flush-privileges
Emit a FLUSH PRIVILEGES statement after dumping the mysql database. This option should be used any time the dump contains the
mysql database and any other database that depends on the data in the mysql database for proper restore.
如何导出包含mysql数据，应启用此选项 。此选项将显示在导出的 mysql 在数据库之后，添加 flush privileges 语句，因为在mysql数据库inert了语句
之后，有必要使用 flush privileges否则，权限不会生效。下面是一个示例：
6） --master-data[=#]
This causes the binary log position and filename to be appended to the output . If equal to 1, will print it as a CHANGE MASTER
command; if equal to 2, that command will be prefixed with a comment symbol. This option will turn --lock-all-tables on, unless
--single-transaction is specified too ( in which case a global read lock is only taken a short time at the beginning of the dump ; dont
forget to read about --single-transaction below). In all cases, any action on logs will happen at the exact moment of the dump.
Option automatically turns --lock-tables off.
因此，为了获得一致的备份数据并在备份过程中同时刷新它binary日志，我们应该将这些选项组合使用如下(完美组合)：
mysqldump -uxxx -pxxx --single-transaction --master-data=2 --flush-logs --routines --databases db1 > db1.sql;
(其中 --flush-logs 非强制性; 搭建slave在以下情况下不导出events，但需要导出rountines.)
其中 被 --master-data 打开的 --lock-all-tables 选项，但也 --single-transaction 关闭掉了 。 --flush-logs 借助于 --master-data 即使一次导出多个数据库也可以实现 flush 的二进制日志也在同一时间点，不是每个数据库flush一次的 。并且 在这个时间点 和 --master-data 记录的 binary log position 和 binary log file在同一时间点 ，这些 他们都用过 --single-transaction 和 --master-data 当一起使用时，全局读锁定被简要地用于实现目标 。
5. mysqldump 复制 的相关选项
1） --master-data[=#]
This causes the binary log position and filename to be appended to the output. If equal to 1, will print it as a CHANGE MASTER
command; if equal to 2, that command will be prefixed with a comment symbol. This option will turn --lock-all-tables on, unless
--single-transaction is specified too (in which case a global read lock is only taken a short time at the beginning of the dump;
dont forget to read about --single-transaction below). In all cases, any action on logs will happen at the exact moment of the dump.
Option automatically turns --lock-tables off.
上面已经介绍了此选项。--master-data=1 指示将导出 change master to 语句，--master-data=2 此语句放在注释中，默认为 0 。
一般会和 --single-transaction一起用于建筑master-slave环境。
下面是 --master-data=1 和 --master-data=2 的比较：
导出文件之前30您可以在行的左侧和右侧看到它 change master to 句。有权访问 head -n 30 db1.sql 查看
2） --dump-slave[=#]
This causes the binary log position and filename of the master to be appended to the dumped data output. Setting the value to 1, will
printit as a CHANGE MASTER command in the dumped data output; if equal to 2, that command will be prefixed with a comment
symbol. This option will turn --lock-all-tables on, unless --single-transaction is specified too (in which case a global read lock is only
taken a short time at the beginning of the dump - dont forget to read about --single-transaction below). In all cases any action on
logs will happen at the exact moment of the dump.Option automatically turns --lock-tables off.
--dump-slave 和 --master-data 几乎一样。区别只是--dump-slave用于slave建立下一个级别slave；而 --master-data用于master建立slave;
如果在 master 上使用 --dump-slave 会报错 ：mysqldump: Couldnt execute START SLAVE: The server is not configured as slave;
3） --apply-slave-statements
Adds STOP SLAVE prior to CHANGE MASTER and START SLAVE to bottom of dump.
在 change master 导出 stop slave 语句, 在 change master 之后导出 start slave句。这实际上是一个自动化的过程。和 --master-data=1 类似。
如下图所示：从 stop slave, 结尾有 start slave语句：
4）--include-master-host-port
Adds MASTER_HOST=
此选择需要组合 --dump-slave=1/2 用。将在导出中添加 host。
5）--include-master-host-port
Adds MASTER_HOST=
此选择需要组合 --dump-slave=1/2 用。将在导出中添加mysql的 port。
6）--delete-master-logs
Delete logs on master after backup. This automatically enables --master-data.
备份后，删除 master上的binary log。此选项将自动打开 --master-data 选项(等于2)。通常不使用此选项。日志一般不能随便删除。
7）--set-gtid-purged[=name]
Add SET @@GLOBAL.GTID_PURGED to the output. Possible values for this option are ON, OFF and AUTO. If ON is used and GTIDs
are not enabled on the server, an error is generated. If OFF is used, this option does nothing. If AUTO is used and GTIDs are enabled
on the server, SET @@GLOBAL.GTID_PURGED is added to the output. If GTIDs are disabled, AUTO does nothing. If no value is
supplied then the default (AUTO) value will be considered.
此选项用于启用GTID特色环境。
6. mysqldump 字符集 的相关选项
1）--set-charset
Add SET NAMES default_character_set to the output. (Defaults to on; use --skip-set-charset to disable.)
--set-charset=1/0 打开和关闭。它也可以使用 --skip-set-charset 关闭。
我们已经在上面讨论了此选项。 指示是否生成 /!40101 SET NAMES utf8 /;
2）-N, --no-set-names
Same as --skip-set-charset. 关闭 --set-charset. 不生成 /!40101 SET NAMES utf8 /; 语句。
3）--default-character-set=name
Set the default character set.
上面也提到了此选项。 指定语句：/!40101 SET NAMES utf8 /;字符集;也许您需要将其更改为 --default-character-set=utf8mb4
7. mysqldump 控制是否生成 DDL 语句 的相关选项
--add-drop-database Add a DROP DATABASE before each create.
--add-drop-table Add a DROP TABLE before each create. (Defaults to on; use --skip-add-drop-table to disable.)
--add-drop-trigger Add a DROP TRIGGER before each create.
--no-create-db,-n
--no-create-info,-t
- mysqldump 导出格式 的相关选项
1）--compatible=name
Change the dump to be compatible with a given mode. By default tables are dumped in a format optimized for MySQL.
Legal modes are: ansi, mysql323, mysql40, postgresql, oracle, mssql, db2, maxdb, no_key_options, no_table_options,
no_field_options . One can use several modes separated by commas. Note: Requires MySQL server version 4.1.0 or higher.
This option is ignored with earlier server versions.
导出sql语句的兼容格式。如果我们需要从MySQL导出，然后导入到另一个数据库，您可以使用此选项。--compatible=oracle/postgresql/mssql
2）-Q, --quote-names
Quote table and column names with backticks (`). (Defaults to on; use --skip-quote-names to disable.)
使用表名和列名 ``包。以防他们以关键字的形式报告错误。
9. mysqldump 与错误处理相关的选项
1）-f, --force Continue even if we get an SQL error.
2）--log-error=name Append warnings and errors to given file.
10. mysqldump 实现原理
为了探求 mysqldump 如何实施备份？我们需要 my.cnf 中的[mysqld] 添加参数部分：
general_log=on general_log_file=general.log
所以我们可以观察 general.log 要了解 的输出 mysqldump 如何实施备份。
1）--lock-tables 它是如何实现的：
先执行：mysqldump -uroot -p --databases gs --lock-tables > gs_l.sql， 然后查看 general.log:
3 Init DB gs
3 Query SHOW CREATE DATABASE IF NOT EXISTS gs
3 Query show tables
3 Query LOCK TABLES tb1 READ /*!32311 LOCAL */,user READ /*!32311 LOCAL */
3 Query show table status like tb1
3 Query SET SQL\_QUOTE\_SHOW\_CREATE=1
3 Query SET SESSION character\_set\_results = binary
3 Query show create table tb1
3 Query SET SESSION character\_set\_results = utf8
3 Query show fields from tb1
3 Query SELECT /*!40001 SQL\_NO\_CACHE */ * FROM tb1
3 Query SET SESSION character\_set\_results = binary
3 Query use gs
3 Query select @@collation\_database
3 Query SHOW TRIGGERS LIKE tb1
3 Query SET SESSION character\_set\_results = utf8
3 Query show table status like user
3 Query SET SQL\_QUOTE\_SHOW\_CREATE=1
3 Query SET SESSION character\_set\_results = binary
3 Query show create table user
3 Query SET SESSION character\_set\_results = utf8
3 Query show fields from user
3 Query SELECT /*!40001 SQL\_NO\_CACHE */ * FROM user
3 Query SET SESSION character\_set\_results = binary
3 Query use gs
3 Query select @@collation\_database
3 Query SHOW TRIGGERS LIKE user
3 Query SET SESSION character\_set\_results = utf8
3 Query UNLOCK TABLES
3 Quit
1> 第一步： SHOW CREATE DATABASE IF NOT EXISTS gs; 导出的数据库创建语句;
2> 第二步： show tables; 获取数据库中的所有表名并锁定它们： LOCK TABLES tb1 READ /! 32311 LOCAL /,user READ /! 32311 LOCAL /
使用的是 lock table tb1 read local, tb2 read local, tb3 read local; 语句
3> 第三步：show create table tb1 ; 导出了 tb1 为以下对象创建表语句;
4> 第四步： show fields from tb1; SELECT /! 40001 SQL_NO_CACHE / * FROM tb1; 导出表中的数据;
......
5> 终于出口了 trigger, 尾页 尾页 unlock tables; 结束。
可以看到 --lock-tables 导出数据库时， 在整个出口过程中 lock read local 所有的表 。该锁 不会阻止别人session读和插入 。
2）--lock-all-tables 的实现：
先执行：mysqldump -uroot -p --databases gs --lock-all-tables > gs_l.sql， 在查看 general.log:
151022 14:34:13 4 Connect root@localhost on
4 Query /!40100 SET @@SQL_MODE= /
4 Query /!40103 SET TIME_ZONE=+00:00 /
4 Query FLUSH TABLES
4 Query FLUSH TABLES WITH READ LOCK
4 Query SHOW VARIABLES LIKE gtid\_mode
... ...
4 Init DB gs
4 Query SHOW CREATE DATABASE IF NOT EXISTS gs
4 Query show tables
... ...4 Query SELECT /!40001 SQL_NO_CACHE / FROM tb1
4 Query SET SESSION character_set_results = binary
4 Query use gs
4 Query select @@collation_database
... ...
4 Query show fields from user
4 Query SELECT /!40001 SQL_NO_CACHE / FROM user
4 Query SET SESSION character_set_results = binary
4 Query use gs
4 Query select @@collation_database
4 Query SHOW TRIGGERS LIKE user
4 Query SET SESSION character_set_results = utf8
4 Quit
它的实现使用 FLUSH TABLES; FLUSH TABLES WITH READ LOCK; 句。我没有在最后看到解锁语句。
它请求启动 全局读锁， 将阻止对所有表的写入操作 确保数据一致性 。备份完成后，会话将断开连接并自动解锁。
3）--single-transaction 的实现：
先执行： mysqldump -uroot -p --databases gs --single-transaction > gs_l.sql，在查看 general.log:
151022 14:41:34 5 Connect root@localhost on
5 Query /!40100 SET @@SQL_MODE= /
5 Query /!40103 SET TIME_ZONE=+00:00 /
5 Query SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
5 Query START TRANSACTION /!40100 WITH CONSISTENT SNAPSHOT /
5 Query SHOW VARIABLES LIKE gtid\_mode
5 Query UNLOCK TABLES
... ...
5 Init DB gs
5 Query SHOW CREATE DATABASE IF NOT EXISTS gs
5 Query SAVEPOINT sp
......
5 Query show create table tb1
......5 Query SELECT /!40001 SQL_NO_CACHE / FROM tb1
......
5 Query ROLLBACK TO SAVEPOINT sp
......
5 Query show create table user
.....5 Query SELECT /!40001 SQL_NO_CACHE / FROM user
......
5 Query ROLLBACK TO SAVEPOINT sp
5 Query RELEASE SAVEPOINT sp
5 Quit
基本流程为：
1> 首先更改事务隔离级别：SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
2> 开始交易：START TRANSACTION /! 40100 WITH CONSISTENT SNAPSHOT /
3> unlock tables;
4> 导出数据库创建语句; SHOW CREATE DATABASE IF NOT EXISTS gs
5> 打开一个 savepoint: SAVEPOINT sp ;
6> 导出 表 tb1 的结构和数据;
7> ROLLBACK TO SAVEPOINT sp ; 回滚到savepoint;
对其他表重复此过程;
8> 最后 realease savepoint p; 释放savepoint;
在整个过程中，没有锁。RR隔离级别确保在事务中此事务之前对一致数据的只读访问 。 rollback to savepoint sp; 确保对数据库中的数据没有影响。
4）--master-data 的实现：
先执行：mysqldump -uroot -p --databases gs --master-data=1 > gs_l.sql，在查看general.log:
151022 14:57:45 6 Connect root@localhost on 6 Query /!40100 SET @@SQL_MODE= / 6 Query /!40103 SET TIME_ZONE=+00:00 / 6 Query FLUSH /!40101 LOCAL / TABLES 6 Query FLUSH TABLES WITH READ LOCK 6 Query SHOW VARIABLES LIKE gtid\_mode 6 Query SHOW MASTER STATUS
发现了 --lock-all-tables同样，还有一句话：show master status;
5）--single-transaction 和 --master-data 组合使用：
先执行：mysqldump -uroot -p --databases gs --master-data=1 > gs_l.sql，在查看general.log:
151022 15:00:56 7 Connect root@localhost on
7 Query /!40100 SET @@SQL_MODE= /
7 Query /!40103 SET TIME_ZONE=+00:00 /
7 Query FLUSH /!40101 LOCAL / TABLES
7 Query FLUSH TABLES WITH READ LOCK
7 Query SET SESSION TRANSACTION ISOLATION LEVEL REPEATABLE READ
7 Query START TRANSACTION /!40100 WITH CONSISTENT SNAPSHOT /
7 Query SHOW VARIABLES LIKE gtid\_mode
7 Query SHOW MASTER STATUS
7 Query UNLOCK TABLES
......
7 Init DB gs
7 Query SHOW CREATE DATABASE IF NOT EXISTS gs
7 Query SAVEPOINT sp
7 Query show create table tb1
7 Query SELECT /*!40001 SQL\_NO\_CACHE */ * FROM tb1
7 Query ROLLBACK TO SAVEPOINT sp
7 Query show create table user
7 Query SELECT /*!40001 SQL\_NO\_CACHE */ * FROM user
7 Query ROLLBACK TO SAVEPOINT sp
7 Query RELEASE SAVEPOINT sp
7 Quit
发现 --single-transaction 单独使用 与 --single-transaction 和 --master-data 结合使用 差异如下图所示：
--single-transaction 和 --master-data 当组合使用时， 在导出开始时，将暂时保留全局读锁定 锁定时：将数据刷新到磁盘，将隔离级别设置为RR开始事务，输出 binary log 位置和文件名，然后解锁。这可确保：show master status 输出的 binary log 的位置和文件名 和 后面 导出的数据在同一时间点(同一个lsn)这就是为什么我们可以使用此备份的原因 和 利用 change master to 构造一个 slave，已成功连接 master.
你可以看到这已经被使用了两次 flush tables:
FLUSH /! 40101 LOCAL / TABLES
FLUSH TABLES WITH READ LOCK
其原因是 第一次 flush 无需锁定表。第一次将所有数据刷新到磁盘后，第二次 FLUSH TABLES WITH READ LOCK 此时，只需要将少量数据刷新到磁盘， 所以这是第一次 flush 这是最好的 减少 第二次 fush 持锁时间 。
11. mysqldump 与 锁
1）--lock-tables 在整个出口过程中 lock read local 所有表。此锁不会阻止其他人session读取和插入，但明显被阻止update。
2）--lock-all-tables 它请求启动全局读锁定，这将阻止对所有表的写入操作(insert,update,delete)确保数据一致性。备份完成后，会话将断开连接并自动解锁。
3）--single-transaction 和 --master-data 组合时，它还会在开始时短暂请求全局读锁定，从而防止对所有表执行写入操作。
4）--single-transaction 单独使用，不会有锁。但测试表明，: 它还需要保存备份表 metadata lock 的共享锁 。
我们知道， 总务、控股 行锁定，以及 metadata lock 的共享锁 。所以事实上，mysqldump无论您使用哪种选项，交易的执行都不会被阻止。
因为它们在锁应用程序中没有排他性。与 DDL它还需要举行 metadata lock 独占锁定(排它锁) 。当然DDL也会阻塞mysqldump。
mysqldump 它必须摆在桌面上 metadata lock 共享锁。然后，要么 local读锁 (lock table tb1 read local )，或者所有备份表上都需要 全局读锁 ( FLUSH TABLES WITH READ LOCK; )暂时持有全局锁。
参考：http://imysql.cn/2008\_10\_24\_deep\_into\_mysqldump\_options
转自：https://www.cnblogs.com/digdeep/p/4898622.html
版权声明
所有资源都来源于爬虫采集,如有侵权请联系我们,我们将立即删除
-
解决SolidWorks2019许可证错误-85440
-
解决sklearn.datasets.fetch_20newsgroups下载速度慢的问题
-
解决sklearn.datasets.fetch_20newsgroups下载报错问题分享
-
解决Scratch3.0scratch-hex文件下载失败问题
-
解决RHEL7无法使用YUM源的问题
-
解决Qt应用中遇到的libpngwarningiCCPknownincorrectsRGBprofile问题
-
解决QT启动时找不到python36.dll问题
-
解决Qt5在麒麟Linux下不能输入中文问题
-
解决QT5.12.6使用32位MinGW编译器无法使用SSL协议问题
-
解决PyTorchCUDA编译问题指南
作者文章
- 解决SolidWorks2019许可证错误-85440 3个月前 (02-11)
- 解决sklearn.datasets.fetch_20newsgroups下载速度慢的问题 3个月前 (02-11)
- 解决sklearn.datasets.fetch_20newsgroups下载报错问题分享 3个月前 (02-11)
- 解决Scratch3.0scratch-hex文件下载失败问题 3个月前 (02-11)
- 解决RHEL7无法使用YUM源的问题 3个月前 (02-11)