如何通过云服务搭建可承受十万并发的系统基础设施？

搭建能够承受十万并发（Concurrent Connections）的系统基础设施，核心不在于单一服务器的性能堆砌，而在于架构的弹性、流量的分层治理以及组件的高可用设计。十万并发是一个中等偏上的规模，如果处理不当，极易出现雪崩效应；但如果架构合理，通过云原生技术栈可以以较低的成本实现高吞吐和低延迟。

以下是基于国内主流云厂商（如阿里云、腾讯云、华为云等）产品体系的最佳实践方案：

一、 核心架构原则

1. 动静分离：静态资源（图片、CSS、JS）与动态业务逻辑彻底解耦。
2. 无状态化：应用服务器必须是无状态的，任何一台服务器宕机不影响整体服务，便于水平扩展。
3. 异步削峰：利用消息队列缓冲突发流量，保护后端数据库和核心计算资源。
4. 多级缓存：构建“浏览器 -> CDN -> 网关/负载均衡 -> 本地缓存 -> 分布式缓存 -> 数据库”的多级缓存体系。

二、 具体实施步骤

1. 接入层：流量清洗与分发

十万并发的入口压力极大，直接打到后端应用是危险的。

• CDN（内容分发网络）：
  • 作用：将静态资源推送到边缘节点，90%以上的请求在边缘就被拦截。
  • 配置建议：开启HTTP/2或HTTP/3协议，启用压缩，设置合理的缓存策略。对于动态API，可考虑使用CDN的Edge Worker或边缘函数进行初步过滤。
• WAF（Web应用防火墙）：
  • 作用：防御CC攻击、SQL注入等恶意流量。十万并发中可能包含大量恶意探测，WAF能大幅减轻后端压力。
• SLB/ALB（负载均衡器）：
  • 选型：推荐使用应用型负载均衡（ALB），支持七层路由、路径匹配和TLS卸载。
  • 配置：开启健康检查，配置连接超时时间，启用会话保持（如果需要）。ALB本身具备极高的吞吐量能力，可轻松承载十万级并发连接。

2. 应用层：水平扩展与容器化

• 容器化部署（Kubernetes/K8s）：
  • 优势：通过HPA（Horizontal Pod Autoscaler）根据CPU、内存或自定义指标（如QPS、连接数）自动伸缩Pod数量。
  • 集群规划：至少部署3个可用区（Availability Zone）以确保高可用。每个可用区内部署多个Node节点。
• 微服务拆分：
  • 不要将所有功能耦合在一个单体应用中。将用户服务、订单服务、商品服务等拆分为独立微服务。
  • 热门服务（如商品查询）单独部署，冷服务（如后台管理）隔离部署，避免相互影响。
• 语言选择：
  • 高并发场景下，Go、Java（配合Spring Cloud Alibaba）、Rust等语言表现优异。Node.js适合I/O密集型但需注意事件循环阻塞问题。

3. 数据层：读写分离与缓存提速

这是决定系统能否扛住十万并发的关键。

• 分布式缓存（Redis/Memcached）：
  • 角色：缓存热点数据（如首页信息、商品详情、用户Session）。
  • 架构：使用云厂商提供的Redis Cluster版，分片存储，避免单点瓶颈。
  • 策略：采用Cache-Aside模式，设置TTL，防止缓存穿透（布隆过滤器）、击穿（互斥锁）和雪崩（随机过期时间）。
• 数据库（MySQL/PostgreSQL）：
  • 读写分离：主库负责写，多个只读副本负责读。应用层通过中间件（如ShardingSphere）或云数据库X_X自动路由读写请求。
  • 分库分表：当单表数据量超过千万级，需按用户ID或订单ID进行分片。
  • 连接池：应用侧务必使用连接池（如HikariCP），避免频繁建立TCP连接消耗资源。
• 消息队列（RocketMQ/Kafka/RabbitMQ）：
  • 作用：异步处理非实时性任务（如发送短信、生成报表、日志记录）。
  • 场景：用户下单后，立即返回成功，后续通过MQ异步扣减库存、通知物流。这能将同步调用链路的RT（响应时间）从秒级降至毫秒级。

4. 监控与运维：可观测性

• 全链路追踪：集成SkyWalking或Jaeger，定位慢接口。
• 指标监控：Prometheus + Grafana，监控QPS、RT、错误率、JVM GC频率、CPU/内存使用率。
• 日志中心：ELK或云厂商日志服务，集中收集和分析日志，便于故障排查。
• 告警机制：设置多级告警（邮件、短信、钉钉/企业微信），确保异常能在5分钟内被发现。

三、 典型架构图示（文字描述）

[用户] 
   |
   v
[CDN] (静态资源+边缘计算)
   |
   v
[WAF] (安全防护)
   |
   v
[ALB/SLB] (负载均衡, TLS卸载)
   |
   v
[K8s集群 - 应用层]
   ├── [API Gateway] (限流、鉴权、路由)
   ├── [User Service] (用户服务)
   ├── [Product Service] (商品服务) --> [Redis Cluster] (热点缓存)
   ├── [Order Service] (订单服务) --> [RocketMQ] (异步解耦)
   └── [Payment Service] (支付服务)
           |
           v
   [MySQL Cluster] (主从复制, 分库分表)
           |
           v
   [Backup & DR] (异地容灾)

四、 关键优化技巧

1. 连接复用：
   • HTTP Keep-Alive：减少TCP握手次数。
   • gRPC/HTTP2：多路复用，提升传输效率。
2. 限流与降级：
   • 使用Sentinel或Resilience4j进行限流。当QPS超过阈值时，快速失败或返回默认值，保护系统不被打垮。
   • 非核心功能（如推荐列表、评论）在高峰期可降级为静态页面或空数据。
3. 数据库优化：
   • 索引优化：确保所有查询都有合适索引。
   • SQL审查：避免SELECT *，减少回表。
   • 批量操作：合并小事务为大事务，减少IO次数。
4. 网络优化：
   • 使用VPC内网通信，避免公网带宽成为瓶颈。
   • 开启TCP BBR拥塞控制算法，提升高延迟网络下的吞吐量。

五、 成本估算参考（以阿里云为例，仅供参考）

注：实际成本取决于流量模型、是否使用预留实例券、是否采用Serverless架构（如函数计算FC）等因素。若采用Serverless，初期投入更低，但高峰时段成本可能上升。

六、 总结

搭建十万并发系统的关键不是“买最贵的服务器”，而是：

1. 前置过滤：用CDN+WAF挡住大部分无效请求。
2. 缓存为王：用Redis挡住80%以上的数据库查询。
3. 异步解耦：用MQ削平峰值，让系统平稳运行。
4. 弹性伸缩：用K8s+HPA应对突发流量，闲时缩容节省成本。

建议先从小规模开始，逐步压测（使用JMeter、Locust等工具），根据真实负载调整资源配置，再逐步扩容至目标规模。