参考资料

  1. 如何设置防爬虫
  2. 如何设置动态Token头进行防爬虫？
  3. 如何设置HTTP响应头进行防爬虫？
  4. 有哪些新的HTTP响应头用于防爬？
  5. 列举的这些HTTP响应头中，哪些最有效？
  6. 检测DDoS攻击？详细说明
  7. 哪些HTTP响应头可以用于防爬虫？
  8. 网站防爬虫设置

如何设置防爬虫

  1. robots.txt

    • 在网站根目录创建robots.txt文件

    • 示例内容：  

      User-agent: *  
Disallow: /private/  
Disallow: /admin/

  2. User-Agent检测

    • 检查请求头中的User-Agent字段

    • 屏蔽常见爬虫标识（如Scrapy、Bot等）

  3. IP限制

    • 设置访问频率阈值（如每分钟60次）

    • 自动封禁高频访问IP

  4. 验证码

    • 在敏感操作前添加验证码（如登录、表单提交）

    • 使用reCAPTCHA等第三方服务

  5. 动态内容加载

    • 使用JavaScript渲染关键内容

    • 通过AJAX异步加载数据

  6. 请求参数验证

    • 检查Referer头

    • 添加CSRF Token

    • 验证请求时间间隔

  7. Honeypot陷阱

    • 在HTML中隐藏不可见链接

    • 访问这些链接的IP判定为爬虫

  8. API限制

    • 为API添加密钥认证

    • 实施请求配额（如每天1000次）

  9. 日志监控

    • 记录异常访问模式

    • 设置实时告警机制

  10. 法律手段

    • 在网站条款中明确禁止爬取

    • 对恶意爬虫发送法律警告

TAG：robots.txtUser-AgentIP限制验证码reCAPTCHA动态内容加载AJAX请求参数验证