恶意爬虫拖慢网站的限流配置，Nginx limit_req模块

恶意爬虫正在耗尽你网站的带宽和服务器资源，导致正常用户访问变慢甚至超时，解决这个问题的直接方法是在Nginx中配置limit_req模块进行请求限流。通过限制单个IP地址在单位时间内的请求频率，你可以有效过滤掉恶意爬虫和DDoS攻击的洪水式请求，保障网站核心服务的稳定运行。下面我将详细介绍如何配置和优化Nginx的limit_req模块。

limit_req模块是Nginx标准模块ngx_http_limit_req_module提供的功能，它基于“漏桶算法”实现请求限流。简单来说，它像一个底部有洞的水桶：请求以任意速率流入桶中（即到达Nginx），但桶只会以固定速率漏水（即请求被处理）。如果流入速率过快，桶就会满溢，多余的请求会被直接拒绝或延迟处理。该模块的核心是定义一个共享内存区来存储请求状态（通常是客户端IP地址），并设置两个关键参数：速率（rate，如每秒10个请求）和突发容量（burst，允许短暂超出的请求数）。当请求超过设定速率时，Nginx会返回503错误或将其放入队列等待。

首先，你需要在Nginx配置文件（通常是nginx.conf或sites-available下的站点配置）的http或server上下文中定义限制区域。以下是一个基础示例，限制每个IP每秒最多10个请求，并允许5个突发请求：

http {
    limit_req_zone $binary_remote_addr zone=one:10m rate=10r/s;

    server {
        location / {
            limit_req zone=one burst=5;
        }
    }
}

这段代码中，limit_req_zone指令定义了名为“one”的共享内存区，大小为10兆字节（10m），以客户端IP地址（$binary_remote_addr）为键，限制速率为每秒10个请求（10r/s）。在location块中，limit_req指令应用该区域，并设置burst=5，表示如果请求超过速率，前5个额外请求会被放入队列延迟处理，超出队列的请求将立即被拒绝。你可以根据网站流量调整参数：内存区大小（10m约可存储16万个IP状态）、速率（如rate=30r/m表示每分钟30次）和突发值。

基础配置可能误伤正常用户的高峰访问（如页面瞬间加载多个资源），因此需要更精细的控制。Nginx提供了nodelay参数和延迟模式选项。如果你希望突发请求不被延迟而是立即处理（但超过突发值仍被拒绝），可以添加nodelay：

location / {
    limit_req zone=one burst=5 nodelay;
}

这样，前5个突发请求会立即通过，但后续请求必须遵守速率限制。此外，你可以为不同页面设置不同限制：例如，对静态资源（如图片、CSS）放宽限制，对动态API或登录页面严格限制。以下是一个多区域配置示例：

http {
    limit_req_zone $binary_remote_addr zone=static:10m rate=100r/s;
    limit_req_zone $binary_remote_addr zone=api:10m rate=5r/s;

    server {
        location ~* \.(jpg|css|js)$ {
            limit_req zone=static burst=20 nodelay;
        }
        location /api/ {
            limit_req zone=api burst=3;
            limit_req_status 429; # 自定义返回状态码
        }
    }
}

这里，静态资源允许每秒100次请求，API接口则严格限制为每秒5次。我们还用limit_req_status将默认的503错误改为429（Too Many Requests），使响应更符合HTTP标准。注意，配置后需用nginx -t测试并重载Nginx服务。

单纯限流可能不够，因为恶意爬虫常使用代理IP池轮询攻击。你需要结合其他Nginx模块和策略增强防御。首先，通过日志分析识别爬虫特征：检查User-Agent、高频访问路径等，然后使用map指令或if条件进行过滤。例如，屏蔽某些已知恶意User-Agent：

map $http_user_agent $limit_bot {
    default "";
    ~*(scrapy|python|curl) $binary_remote_addr;
}
limit_req_zone $limit_bot zone=bots:10m rate=2r/s;

这段代码将包含“scrapy”、“python”或“curl”的User-Agent视为爬虫，并对其IP施加更严格的限制（每秒2次）。但注意，if指令在Nginx中性能较低，建议谨慎使用。其次，你可以结合limit_conn模块限制并发连接数，防止单个IP占用过多连接：

limit_conn_zone $binary_remote_addr zone=addr:10m;
location / {
    limit_conn addr 10; # 每个IP最多10个并发连接
    limit_req zone=one burst=5;
}

对于分布式爬虫攻击，考虑使用防火墙（如WAF）或云端防护服务进行深度防御，Nginx限流可作为底层防线。

配置限流后，持续监控是关键。通过Nginx日志查看限流触发情况：在log_format中添加limit_req_status字段，或直接分析错误日志。如果正常用户频繁遇到429/503错误，需调整速率或突发值。你可以使用压力测试工具（如ab或wrk）模拟流量，验证配置效果。例如，测试API接口限流：

ab -n 100 -c 10 http://yoursite.com/api/

观察响应中非200状态码的比例。此外，监控服务器资源（CPU、内存、带宽）变化，确保限流后性能提升。如果网站使用CDN，注意CDN节点IP可能被误判为单个客户端，此时需通过$http_x_forwarded_for变量获取真实用户IP，但需防范IP伪造风险。

在实践中，你可能会遇到这些问题：一是“误封”问题，例如公司网络多个用户共享同一公网IP，导致集体被限流。解决方案是放宽该IP段的限制，或使用Cookie等标识符替代IP（但爬虫也可伪造）。二是性能开销，limit_req模块会占用额外内存和CPU，在大流量下需增加共享内存区大小。三是动态调整困难，Nginx配置需重载才能生效，未来可考虑结合Lua脚本实现实时规则更新。记住，限流是平衡安全与用户体验的艺术，没有一成不变的参数。

总之，Nginx的limit_req模块是抵御恶意爬虫的有效工具，通过合理配置速率、突发值和精细化规则，你可以显著减轻服务器压力。建议从宽松规则开始，逐步收紧，并辅以监控和日志分析，最终构建一个既安全又流畅的网站环境。如果你有动态应用需求，还可探索Nginx与Redis等外部存储集成，实现更复杂的分布式限流方案。