【MySQL核心】MySQL 数据恢复-ibd2sql

【MySQL核心】MySQL 数据文件恢复-ibd2sql

简介

ibd2sql 是一个将 MySQL ibd 文件解析成 SQL 语句的工具，它可以解析出建表语句和 SQL 语句，并且支持 MySQL8.* 和 MySQL5.* 版本。可以解析损坏的 ibd 文件来获取可用的信息，这对于数据表损坏的场景非常友好。接下来一起了解下他的神奇功能。

项目地址：https://github.com/ddcw/ibd2sql

注意： 执行操作前先请备份数据，注意磁盘空间大小

安装

• 在使用项目前，请安装 python3

windows 可以直接下载：https://github.com/ddcw/ibd2sql/archive/refs/heads/main.zip

linux：

# 安装python 3
yum install -y python3

# 下载安装包
wget https://github.com/ddcw/ibd2sql/archive/refs/heads/main.zip

# 解压
unzip main.zip

# 进入安装目录
cd ibd2sql-main

详细参数可以参见如下连接：

https://github.com/ddcw/ibd2sql/blob/e571766b00f3b728ecbcbc7a7f612bc8e04715dd/docs/USAGE.md

使用

ibd2sql 原生支持 mysql8.0 对于 mysql5.6/5.7 的文件解析也需要依赖 mysql8.0 的 ibd 文件来解析出建表语句。

也就是说当你要解析 mysql5.6/5.7 的 ibd 文件时，需要先在 mysql8.0 的实例中创建需要恢复的表，ibd2sql 需要使用新建表的 ibd 文件来解析出建表信息（用来支持获取insert 语句）。

这里就有一个问题了，如果你没有建表语句是不是就不能使用 ibd2sql 了？ 你可以使用 dbsake 工具来获取 mysql 5.* 版本的建表语句。可以看我写的 dbsake 的文章来获取用法。注意不要使用 mysqlfrm 工具，可能存在解析的数据字段长度不精确，获取时间字段有问题等问题。

用法(mysql 8.0)

解析表结构

python3 main.py xxx.ibd --ddl

• –ddl 获取建表语句

解析表数据

python3 main.py xxx.ibd --sql

• –sql 获取 insert 数据

解析表结构和数据

python3 main.py xxx.ibd --ddl --sql

解析误删的数据

python3 main.py xxx.ibd --sql --delete

• –delete 获取误删数据

解析分区表

分区表需要指定元数据信息

python3 main.py --sdi-table /your_path/ddcw_partition_range#p#p0.ibd   /your_path/ddcw_partition_range#p#p1.ibd --sql

• –sdi-table 指定存储建表语句的 ibd 文件 后面跟要恢复的文件

用法(mysql 5.6/5.7)

mysql 5.6/5.7 需要先用 dbsake 工具获取建表语句并导入到 mysql8.0 中，用来给ibd2sql获取元数据信息。

# 提取ddl
dbsake frmdump test.frm 

# 导入 MySQL 8 
dbsake frmdump test.frm  |mysql 

# 解析
python3 main.py --sdi-table /your_mysq8_path/ddcw_alltype_table.ibd /your_mysql5_path/ddcw_alltype_table.ibd  --sql --mysql5

• –sdi-table 指定 mysql8 的 ibd 文件
• –mysql5 代表恢复的是 MySQL 5 版本的数据

针对 ibd 文件损坏的场景(重点)

对于 ibd 文件损坏的场景，可以使用按数据页进行解析。

mysql8

python3 main.py /your_path/test.ibd  --sql --page-start 1000 --page-count 1 2>/dev/null

• /your_path/test.ibd 你的需要恢复的 ibd 文件路径
• –sql 解析成 SQL
• –page-start 指定开始解析的页数
• –page-count 指定向后解析多少页

mysql5

python3 main.py  --sdi-table /your_mysql8_path/test.ibd    /your_mysql5_path/test.ibd  --sql --page-start 1000 --page-count 1  2>/dev/null

• –sdi-table 指定 mysql8 的 ibd 文件

• /your_mysql5_path/test.ibd 你的需要恢复的 ibd 文件

• –page-start 指定开始解析的页数

• –page-count 指定向后解析多少页

ibd 文件损坏实战(mysql5)

使用两个脚本来并发解析损坏的 ibd 文件，主脚本用来计算数据页数量，按照空闲的 CPU 核心数开启 N 个批处理子脚本。

使用前请安装 mysql8 的实例，用来创建表。

使用前请安装 dbsake 命令，用来生成表 ，以下链接获取。

https://blog.csdn.net/weixin_45385457/article/details/141135847

vim ibd2sql.sh

#!/bin/bash

table_name="$1"                                           # 要解析的表名
old_data_path="/data1/mysql-5.6.16-winx64/data_old/test"  # 老的数据库路径（保存 ibd 文件的库路径）
mysql8_data_path="/mydata/3309/test"                      # 新的 mysql8 的 路径（保存 ibd 文件的库路径）
mysql8_conn="/usr/local/mysql/mysql80/bin/mysql -S /mydata/3309/mysql.sock test " # mysql8 连接信息
output_path=/tmp/table_data                               # 输出 .sql 文件的路径


filename="${table_name}.ibd"
>${output_path}/${table_name}.sql

# dbsake 获取表结构  sed 过滤后 导入 mysql8
/usr/local/bin/dbsake frmdump ${old_data_path}/${table_name}.frm |sed  's#datetime DEFAULT NULL#datetime null DEFAULT NULL#g'｜sed  's#timestamp DEFAULT NULL#datetime null DEFAULT NULL#g'  ${mysql8_conn}
if [ $? -ne 0 ];then
    echo "MySQL 表结构导入失败"
    exit
fi
sleep 1 

# 指定 mysql8 的 ibd 文件生成建表语句
python3 main.py ${mysql8_data_path}/${filename} --ddl  >>${output_path}/${table_name}.sql

# 计算文件大小
filesize=`stat -c %s ${old_data_path}/${filename}`

# 获取数据页数量
maxpagecount=$[ ${filesize} / 16384 ]
current_page=1

# 循环数据页
while [ ${current_page} -le ${maxpagecount} ];do
	echo "-- ${filename} ${maxpagecount}  PAGE NO: ${current_page}" >>ibd_progress_${table_name}.log; 
	current_page=$[ ${current_page} + 1 ]
	
	# 指定生成回滚 sql
	timeout 2s python3 main.py  --sdi-table  ${mysql8_data_path}/${filename}  ${old_data_path}/${filename} --sql --mysql5 --page-start ${current_page} --page-count 1  >>${output_path}/${table_name}.sql
done

ibd 文件损坏实战(mysql8)

同上，只是不需要 dbsake 和安装其他实例了，可以直接解析 ibd 文件。

vim ibd2sql.sh

#!/bin/bash

table_name="$1"                              # 要解析的表名
old_data_path="/data1/mysql8/data_old/test"  # 老的数据库路径（保存 ibd 文件的库路径）
output_path=/tmp/table_data                  # 输出 .sql 文件的路径


filename="${table_name}.ibd"
>${output_path}/${table_name}.sql

# 指定 mysql8 的 ibd 文件生成建表语句
python3 main.py ${old_data_path}/${filename} --ddl  >>${output_path}/${table_name}.sql

# 计算文件大小
filesize=`stat -c %s ${old_data_path}/${filename}`

# 获取数据页数量
maxpagecount=$[ ${filesize} / 16384 ]
current_page=1

# 循环数据页
while [ ${current_page} -le ${maxpagecount} ];do
	echo "-- ${filename} ${maxpagecount}  PAGE NO: ${current_page}" >>ibd_progress_${table_name}.log; 
	current_page=$[ ${current_page} + 1 ]
	
	# 指定生成回滚 sql
	timeout 2s python3 main.py  ${old_data_path}/${filename} --sql --page-start ${current_page} --page-count 1  >>${output_path}/${table_name}.sql
done

运行

sh ibd2sql.sh 

# 后台运行更稳定 nohup &

完整解决方案参见：https://blog.csdn.net/weixin_45385457/article/details/141136121