QPS达到峰值时应该如何处理？

在互联网应用中，高并发场景时常出现，QPS（每秒请求数）达到峰值可能导致系统过载、响应延迟甚至宕机。为了确保系统在高并发情况下依然能稳定运行，我们需要采取一系列优化措施。
本文将从架构、代码、网络、缓存、限流等多个层面探讨应对 QPS 峰值的策略和最佳实践。

架构层面优化

1. 负载均衡

负载均衡器（如 Nginx、HAProxy 或云服务提供商的负载均衡）可以将用户请求分发到多台服务器上。

硬件负载均衡：使用专用设备对流量进行分发。
软件负载均衡：如 Nginx 配置反向代理，将请求均匀分配到后端应用服务器。

示例：Nginx 配置

upstream myapp {
    server app1.example.com;
    server app2.example.com;
    server app3.example.com;
}

server {
    listen80;
    server_name www.example.com;

    location / {
        proxy_pass http://myapp;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
    }
}

2. 分布式架构

采用分布式系统设计：

微服务架构：将单体应用拆分成多个独立服务，各自独立扩展。
容器化和 Kubernetes：利用容器编排技术，实现自动伸缩和故障恢复。

性能优化与缓存

1. 缓存策略

通过缓存减少后端处理压力：

静态资源缓存：利用 CDN 缓存 CSS、JS、图片等静态资源。
应用缓存：在应用层利用 Redis、Memcached 等缓存热点数据，降低数据库访问频率。

示例：Redis 缓存热点数据

const redis = require('redis');
const client = redis.createClient();

// 查询热点数据前先检查缓存
client.get('hot_data', (err, data) => {
  if (data) {
    console.log('缓存数据：', JSON.parse(data));
  } else {
    // 数据库查询操作...
    // 假设 result 为查询结果
    client.setex('hot_data', 60, JSON.stringify(result));
  }
});

2. 数据库优化

索引优化：确保数据库查询使用到适当的索引，提高查询效率。
读写分离：通过主从数据库、分片等方式分散数据库压力。

限流与熔断

1. 限流

通过限流保护系统不被超量请求冲垮：

令牌桶或漏斗算法：控制每秒允许通过的请求数量。
API 网关：例如 Kong、Tyk 等可以在网关层实现限流策略。

示例：Node.js 中基于 express-rate-limit 实现限流

const rateLimit = require('express-rate-limit');

const limiter = rateLimit({
  windowMs: 1000, // 1 秒窗口
  max: 100, // 限制 1 秒内最多 100 个请求
});

app.use(limiter);