系统盘爆满确实是运维中最让人头疼的“突发状况”之一,尤其是当监控报警突然响起,SSH 连接都因为磁盘空间不足(No space left on device)而变得异常缓慢时。
作为在阿里云上摸爬滚打多年的老手,我见过太多因为日志没轮转、临时文件堆积或者数据库膨胀导致的磁盘危机。解决这个问题的核心逻辑只有一条:先止血(清理),再诊断(找原因),最后治本(扩容或优化)。
以下是一套从紧急处理到长期优化的完整解决方案:
一、 紧急止血:快速释放空间
当系统盘使用率超过 90% 甚至 95% 时,首要任务是保证服务不崩。不要急着去翻代码,先用 Linux 命令定位“大户”。
-
确认当前状态
登录服务器后,首先运行:df -h du -sh /* | sort -hr | head -n 10df -h看整体分区使用情况,du命令则是为了找出根目录下哪个文件夹最大。通常你会发现/var,/usr,/home或者某个应用目录占据了绝大部分空间。 -
清理常见“垃圾”
- 清理包管理器缓存:如果是 CentOS/RedHat 系,运行
yum clean all;Ubuntu/Debian 系运行apt-get clean。这通常能释放几百 MB 到几 GB。 - 清理旧内核:如果长时间未重启,可能残留了多个旧版本的内核镜像。检查
/boot目录,保留当前运行版本和最新一个即可。 - 清理 Journal 日志:
journalctl --vacuum-size=100M可以强制将 systemd 日志限制在 100MB 以内。 - 删除无用的 Core Dump 文件:搜索
*.core或core.*并删除。
- 清理包管理器缓存:如果是 CentOS/RedHat 系,运行
-
警惕“已删除但未释放”的文件
这是最坑的一点。如果你直接rm -rf了一个巨大的日志文件,但仍有进程(如 Nginx, MySQL, Java 应用)持有该文件的句柄,空间是不会立即释放的。- 排查方法:运行
lsof +L1或lsof | grep deleted。 - 解决方法:找到对应的 PID,重启该服务,或者直接通过
echo "" > /path/to/file.log的方式清空文件内容(而不是删除文件本身),这样既能瞬间释放空间,又不会中断服务。
- 排查方法:运行
二、 深度诊断:谁在偷走你的空间?
止血之后,必须找到根源,否则明天还会满。
-
日志轮转失效
很多应用默认不开启日志切割。比如 Tomcat、Nginx 或者自定义脚本,如果配置不当,catalina.out或access.log会无限增长。- 检查:查看
/var/log下的文件大小。 - 对策:配置
logrotate。这是 Linux 标准的日志管理工具,确保每个关键服务的日志都有对应的配置文件(通常在/etc/logrotate.d/下),设置按天或按大小切割,并保留最近 7-14 天的历史日志。
- 检查:查看
-
数据库与中间件数据膨胀
- MySQL/MariaDB:Binlog 日志是否开启了自动清理?
expire_logs_days参数是否设置合理?InnoDB 的 ibdata1 文件是否会无限增长?建议开启innodb_file_per_table并使用OPTIMIZE TABLE回收碎片。 - Redis:RDB/AOF 文件是否在内存淘汰策略触发前就写入了大量数据?检查
maxmemory-policy。 - Elasticsearch:分片数据是否过大?是否需要调整索引生命周期管理(ILM)。
- MySQL/MariaDB:Binlog 日志是否开启了自动清理?
-
Docker 容器镜像与卷
如果你的服务器跑 Docker,docker system df是必查命令。- 悬空镜像:
docker image prune清理未被任何容器使用的镜像。 - 停止的容器:
docker container prune清理已停止的容器产生的日志和数据。 - Volume 挂载:注意挂载点是否指向了系统盘而非数据盘。很多新手把 Docker 的数据目录默认放在
/var/lib/docker,这会迅速吃光系统盘。
- 悬空镜像:
-
定时任务与备份脚本
检查crontab -l以及/etc/cron.daily等目录。是否有脚本每天生成备份文件,却忘记清理旧的备份?或者是否有脚本在/tmp下产生大量临时文件且未清理?
三、 治本之策:架构优化与资源规划
如果只是清理,永远是被动的。要从根本上解决问题,需要结合阿里云的特性进行架构调整。
-
分离系统盘与数据盘(最重要)
在阿里云 ECS 实例中,强烈建议将操作系统安装在小容量的系统盘(如 40GB-50GB SSD),而将所有业务数据、日志、数据库文件、Docker 镜像存储挂载到大容量的数据盘(如 100GB+ ESSD)。- 为什么? 系统盘只需维持 OS 稳定运行,数据盘负责业务增长。即使数据盘满了,也不会影响 SSH 登录和系统启动,方便你从容处理。
- 操作:如果已经混用,迁移成本较高,但长远来看值得。可以通过 LVM 或重新格式化挂载新云盘来实现。
-
利用云盘快照与备份策略
不要依赖本地磁盘做唯一备份。开启阿里云的云盘自动快照功能。- 对于日志类数据,可以考虑异步发送到 OSS 或 SLS(日志服务),而不是全部堆积在本地磁盘。
- 对于数据库,使用阿里云 RDS 托管服务,或者在 ECS 上部署主从复制,定期将冷数据归档到 OSS。
-
监控告警前置
不要等到磁盘 100% 才发现问题。- 在阿里云控制台的云监控中,为 ECS 实例设置磁盘使用率告警。
- 阈值建议:Warning 设在 80%,Critical 设在 90%。
- 结合 Prometheus + Grafana 自建监控体系,对特定应用(如 Nginx access log 增长率)进行更细粒度的预测性告警。
-
弹性伸缩与自动扩缩容
如果是互联网业务,流量波动大,建议使用阿里云的弹性伸缩组(ESS)。当负载升高时,自动增加实例数量,而不是让单台服务器的磁盘压力无限累积。同时,配合函数计算(FC)或对象存储(OSS)处理非实时的大文件上传下载,避免占用 ECS 磁盘。
四、 避坑指南
- 不要盲目扩容系统盘:虽然阿里云支持在线扩容系统盘,但频繁扩容会增加维护复杂度,且掩盖了软件层面的问题。扩容只是权宜之计,清理和优化才是正道。
- 谨慎使用
dd或mkfs:在生产环境操作磁盘前,务必确认挂载点和文件系统类型,误操作可能导致数据永久丢失。 - 权限问题:清理日志时,注意文件权限。有些日志属于 root 用户,普通用户无法删除,需切换身份或使用 sudo。
总结
解决阿里云服务器系统盘使用率过高,不是一个单纯的技术问题,而是一个运维规范问题。
- 短期:用
du找大户,用lsof查僵尸句柄,快速清理无用文件和日志。 - 中期:配置
logrotate,规范 Docker 存储路径,检查数据库 Binlog 策略。 - 长期:实现系统盘与数据盘分离,接入云监控告警,推动业务日志上云(SLS/OSS),从根本上降低对本地磁盘的依赖。
记住,最好的磁盘管理,是让磁盘看起来“永远够用”——通过合理的架构设计,让数据流向更适合它的地方。
CLOUD云枢