数据迁移总翻车?聊聊我是怎么把速度提上去的
说实话,干数据迁移这活儿,谁干谁知道。您是不是也遇到过这种情况:凌晨两点盯着屏幕,看着进度条像蜗牛一样爬,心里默念"千万别断千万别断",结果下一秒就报错回滚了?
我之前接手过一个项目,要把一个跑了三年的 Laravel 老系统里的数据迁到新架构上。数据量不算特别大,两千多万条订单记录,但涉及七八个关联表。第一次跑迁移脚本,整整跑了六个小时,最后还因为内存溢出挂了。坦白讲,那一刻我是崩溃的。
后来我花了两周时间做优化,最终把迁移时间压到了四十分钟以内,而且可以断点续传。今天就把这些实战经验分享给您,希望能帮您少走点弯路。
先把环境整明白,别让基础设施拖后腿
很多人一上来就埋头写迁移脚本,其实基础设施没搞好,后面怎么优化都是白搭。
Kubernetes 集群搭建教程里不会告诉您的那些事
就拿我们那次迁移来说,一开始是在一台单机 MySQL 上跑的。后来我把迁移任务拆成了多个 Job,扔到了一个三节点的 Kubernetes 集群里并行跑。您猜怎么着?光是这一步,速度就提升了将近三倍。
但这里有个坑要提醒您:Kubernetes 集群搭建教程通常会教您怎么把集群跑起来,但很少有人告诉您,跑数据迁移任务的时候,Pod 的资源限制一定要调。默认的 CPU 和内存配额根本不够用,我一开始没注意,Pod 频繁被 OOM Kill,白白浪费了一整天。
我的建议是,迁移任务的 Pod 至少给到 2 核 4G,如果涉及大批量写入,内存还要往上加。另外,用 Job 而不是 Deployment,配合 backoffLimit 控制重试次数,这样即使某个批次失败也不会无限重启。
数据库连接池和批量写入的配合
还有一点容易被忽略的,就是数据库连接池的配置。我们用的是 Laravel 的队列来驱动迁移任务,一开始每个 Job 都新建数据库连接,连接数直接被打满。后来把连接池调到合理范围,配合批量插入,单批次处理时间从 12 秒降到了 3 秒左右。
迁移脚本本身,才是真正见功力的地方
环境搞定了,接下来就是脚本层面的优化。这块儿我踩的坑最多,也最有心得。
Laravel 教程里不常讲的 chunk 和 cursor
如果您用 Laravel 做迁移,肯定知道 chunk 方法。但说实话,很多人用 chunk 的方式是错的。比如说,有人这么写:
- 一次性把整张表 load 到内存里,然后循环处理
- 用 chunk 但不加索引条件,导致每次查询都全表扫描
- 在 chunk 内部又去查关联表,N+1 问题直接把数据库拖垮
我的做法是这样的:先用 cursor 方法流式读取,每次只拿一条记录,内存占用极低。然后在写入端做批量攒批,每 500 条一次性插入新库。这样读写两端都不会成为瓶颈。
另外,Laravel 教程里经常提到的 Eloquent 模型事件,在迁移场景下一定要关掉。什么 creating、created 这些钩子,在批量迁移的时候全是负担。直接用 DB facade 走原生查询,速度能快好几倍。
用 Git 做版本管理,迁移脚本也不例外
说到这儿,我得提一嘴 Git 的重要性。您可能会想,迁移脚本跑一次就完了,要什么版本管理?其实不是的。
我们那次迁移,脚本改了十几个版本。每次调整批次大小、索引策略、错误处理逻辑,我都用 Git 做了 commit。后来发现某个版本性能最好,直接 checkout 回去就行。如果没有 Git 教程里学的那套分支管理思路,光是找"哪个版本跑得最快"就得花半天。
而且,迁移过程中难免要回滚。Git 让您能清楚地看到每一步改了什么,出了问题能快速定位。这比您手动复制粘贴脚本文件靠谱多了。
监控和容错,决定您能不能睡个好觉
性能优化不只是跑得快,还得跑得稳。您总不希望迁移到一半挂了,还得从头再来吧?
我的经验是,一定要做断点续传。具体做法很简单:每处理完一批数据,就把当前的偏移量记录到一个单独的进度表里。下次启动时,从上次的位置继续。这样即使中途失败,也不用从头再来。
监控方面,我用 Prometheus 采集了迁移任务的 CPU、内存、数据库连接数和每秒处理条数。在 Grafana 上做了个看板,一眼就能看出瓶颈在哪。有一次发现每秒处理条数突然掉了一半,一看监控,原来是目标库的磁盘 IO 到顶了。换了个 SSD,问题直接解决。
说白了,没有监控的迁移就是盲人摸象。您得知道每一步在发生什么,才能有针对性地优化。
总结一下,给您一个可落地的行动清单
聊了这么多,其实核心就几句话。先把基础设施搭好,Kubernetes 集群能并行就并行,资源配额别抠门。脚本层面,用 cursor 流式读、批量写,关掉不必要的模型事件。Git 管理好每一次变更,监控和断点续传一个都不能少。
如果您现在正好在做数据迁移,不妨先从监控入手,看看瓶颈到底在哪。然后再针对性地优化,别一上来就瞎调参数。我踩过的坑,希望您能绕过去。
如果您也想把迁移时间从六个小时压到四十分钟,那就从今天开始,把上面这几条挨个落地试试吧!