阿里云服务器系统盘使用率过高如何解决?

系统盘爆满确实是运维中最让人头疼的“突发状况”之一,尤其是当监控报警突然响起,SSH 连接都因为磁盘空间不足(No space left on device)而变得异常缓慢时。

作为在阿里云上摸爬滚打多年的老手,我见过太多因为日志没轮转、临时文件堆积或者数据库膨胀导致的磁盘危机。解决这个问题的核心逻辑只有一条:先止血(清理),再诊断(找原因),最后治本(扩容或优化)。

以下是一套从紧急处理到长期优化的完整解决方案:

一、 紧急止血:快速释放空间

当系统盘使用率超过 90% 甚至 95% 时,首要任务是保证服务不崩。不要急着去翻代码,先用 Linux 命令定位“大户”。

  1. 确认当前状态
    登录服务器后,首先运行:

    df -h
    du -sh /* | sort -hr | head -n 10

    df -h 看整体分区使用情况,du 命令则是为了找出根目录下哪个文件夹最大。通常你会发现 /var, /usr, /home 或者某个应用目录占据了绝大部分空间。

  2. 清理常见“垃圾”

    • 清理包管理器缓存:如果是 CentOS/RedHat 系,运行 yum clean all;Ubuntu/Debian 系运行 apt-get clean。这通常能释放几百 MB 到几 GB。
    • 清理旧内核:如果长时间未重启,可能残留了多个旧版本的内核镜像。检查 /boot 目录,保留当前运行版本和最新一个即可。
    • 清理 Journal 日志:journalctl --vacuum-size=100M 可以强制将 systemd 日志限制在 100MB 以内。
    • 删除无用的 Core Dump 文件:搜索 *.core 或 core.* 并删除。
  3. 警惕“已删除但未释放”的文件
    这是最坑的一点。如果你直接 rm -rf 了一个巨大的日志文件,但仍有进程(如 Nginx, MySQL, Java 应用)持有该文件的句柄,空间是不会立即释放的。

    • 排查方法:运行 lsof +L1 或 lsof | grep deleted。
    • 解决方法:找到对应的 PID,重启该服务,或者直接通过 echo "" > /path/to/file.log 的方式清空文件内容(而不是删除文件本身),这样既能瞬间释放空间,又不会中断服务。

二、 深度诊断:谁在偷走你的空间?

止血之后,必须找到根源,否则明天还会满。

  1. 日志轮转失效
    很多应用默认不开启日志切割。比如 Tomcat、Nginx 或者自定义脚本,如果配置不当,catalina.out 或 access.log 会无限增长。

    • 检查:查看 /var/log 下的文件大小。
    • 对策:配置 logrotate。这是 Linux 标准的日志管理工具,确保每个关键服务的日志都有对应的配置文件(通常在 /etc/logrotate.d/ 下),设置按天或按大小切割,并保留最近 7-14 天的历史日志。
  2. 数据库与中间件数据膨胀

    • MySQL/MariaDB:Binlog 日志是否开启了自动清理?expire_logs_days 参数是否设置合理?InnoDB 的 ibdata1 文件是否会无限增长?建议开启 innodb_file_per_table 并使用 OPTIMIZE TABLE 回收碎片。
    • Redis:RDB/AOF 文件是否在内存淘汰策略触发前就写入了大量数据?检查 maxmemory-policy。
    • Elasticsearch:分片数据是否过大?是否需要调整索引生命周期管理(ILM)。
  3. Docker 容器镜像与卷
    如果你的服务器跑 Docker,docker system df 是必查命令。

    • 悬空镜像:docker image prune 清理未被任何容器使用的镜像。
    • 停止的容器:docker container prune 清理已停止的容器产生的日志和数据。
    • Volume 挂载:注意挂载点是否指向了系统盘而非数据盘。很多新手把 Docker 的数据目录默认放在 /var/lib/docker,这会迅速吃光系统盘。
  4. 定时任务与备份脚本
    检查 crontab -l 以及 /etc/cron.daily 等目录。是否有脚本每天生成备份文件,却忘记清理旧的备份?或者是否有脚本在 /tmp 下产生大量临时文件且未清理?

三、 治本之策:架构优化与资源规划

如果只是清理,永远是被动的。要从根本上解决问题,需要结合阿里云的特性进行架构调整。

  1. 分离系统盘与数据盘(最重要)
    在阿里云 ECS 实例中,强烈建议将操作系统安装在小容量的系统盘(如 40GB-50GB SSD),而将所有业务数据、日志、数据库文件、Docker 镜像存储挂载到大容量的数据盘(如 100GB+ ESSD)。

    • 为什么? 系统盘只需维持 OS 稳定运行,数据盘负责业务增长。即使数据盘满了,也不会影响 SSH 登录和系统启动,方便你从容处理。
    • 操作:如果已经混用,迁移成本较高,但长远来看值得。可以通过 LVM 或重新格式化挂载新云盘来实现。
  2. 利用云盘快照与备份策略
    不要依赖本地磁盘做唯一备份。开启阿里云的云盘自动快照功能。

    • 对于日志类数据,可以考虑异步发送到 OSS 或 SLS(日志服务),而不是全部堆积在本地磁盘。
    • 对于数据库,使用阿里云 RDS 托管服务,或者在 ECS 上部署主从复制,定期将冷数据归档到 OSS。
  3. 监控告警前置
    不要等到磁盘 100% 才发现问题。

    • 在阿里云控制台的云监控中,为 ECS 实例设置磁盘使用率告警。
    • 阈值建议:Warning 设在 80%,Critical 设在 90%。
    • 结合 Prometheus + Grafana 自建监控体系,对特定应用(如 Nginx access log 增长率)进行更细粒度的预测性告警。
  4. 弹性伸缩与自动扩缩容
    如果是互联网业务,流量波动大,建议使用阿里云的弹性伸缩组(ESS)。当负载升高时,自动增加实例数量,而不是让单台服务器的磁盘压力无限累积。同时,配合函数计算(FC)或对象存储(OSS)处理非实时的大文件上传下载,避免占用 ECS 磁盘。

四、 避坑指南

  • 不要盲目扩容系统盘:虽然阿里云支持在线扩容系统盘,但频繁扩容会增加维护复杂度,且掩盖了软件层面的问题。扩容只是权宜之计,清理和优化才是正道。
  • 谨慎使用 dd 或 mkfs:在生产环境操作磁盘前,务必确认挂载点和文件系统类型,误操作可能导致数据永久丢失。
  • 权限问题:清理日志时,注意文件权限。有些日志属于 root 用户,普通用户无法删除,需切换身份或使用 sudo。

总结

解决阿里云服务器系统盘使用率过高,不是一个单纯的技术问题,而是一个运维规范问题。

  1. 短期:用 du 找大户,用 lsof 查僵尸句柄,快速清理无用文件和日志。
  2. 中期:配置 logrotate,规范 Docker 存储路径,检查数据库 Binlog 策略。
  3. 长期:实现系统盘与数据盘分离,接入云监控告警,推动业务日志上云(SLS/OSS),从根本上降低对本地磁盘的依赖。

记住,最好的磁盘管理,是让磁盘看起来“永远够用”——通过合理的架构设计,让数据流向更适合它的地方。

未经允许不得转载:CLOUD云枢 » 阿里云服务器系统盘使用率过高如何解决?