参考资料

  1. 防爬虫策略构
  2. 列举的这些HTTP响应头中,哪些最有效?
  3. 列举的这些HTTP响应头中
  4. 如何设置防爬虫
  5. 拦截搜索引擎爬虫
  6. 哪些HTTP响应头可以用于防爬虫?
  7. 检测DDoS攻击?详细说明
  8. 有哪些新的HTTP响应头用于防爬?

有哪些新的HTTP响应头用于防爬?

  1. Content-Security-Policy (CSP)

    • 限制页面资源加载来源

    • 示例: Content-Security-Policy: default-src 'self'

  2. X-Frame-Options

    • 防止点击劫持

    • 示例: X-Frame-Options: DENY

  3. X-Content-Type-Options

    • 禁用MIME类型嗅探

    • 示例: X-Content-Type-Options: nosniff

  4. Referrer-Policy

    • 控制Referer头信息

    • 示例: Referrer-Policy: no-referrer

  5. Permissions-Policy

    • 限制浏览器功能访问

    • 示例: Permissions-Policy: geolocation=()

  6. Strict-Transport-Security (HSTS)

    • 强制HTTPS连接

    • 示例: Strict-Transport-Security: max-age=63072000; includeSubDomains

  7. X-XSS-Protection

    • 启用XSS过滤器

    • 示例: X-XSS-Protection: 1; mode=block

  8. Feature-Policy (已弃用,改用Permissions-Policy)

    • 限制特定功能使用

    • 示例: Feature-Policy: camera 'none'

  9. Expect-CT

    • 强制证书透明度

    • 示例: Expect-CT: max-age=86400, enforce

  10. Cross-Origin-Embedder-Policy (COEP)

    • 控制跨源资源嵌入

    • 示例: Cross-Origin-Embedder-Policy: require-corp

  11. Cross-Origin-Opener-Policy (COOP)

    • 隔离浏览上下文

    • 示例: Cross-Origin-Opener-Policy: same-origin

  12. Cross-Origin-Resource-Policy (CORP)

    • 控制跨源资源加载

    • 示例: Cross-Origin-Resource-Policy: same-site

  13. Cache-Control

    • 控制缓存行为

    • 示例: Cache-Control: no-store

  14. Clear-Site-Data

    • 清除客户端存储

    • 示例: Clear-Site-Data: "cache", "cookies", "storage"

  15. Set-Cookie属性

    • 增强Cookie安全性

    • 示例: Set-Cookie: name=value; HttpOnly; Secure; SameSite=Strict

  16. Server-Timing

    • 提供服务器计时信息

    • 示例: Server-Timing: miss, db;dur=53, app;dur=47.2

  17. Report-To

    • 收集违规报告

    • 示例: Report-To: {"group":"default","max_age":31536000,"endpoints":[{"url":"https://example.com/reports"}]}

  18. NEL (Network Error Logging)

    • 网络错误报告

    • 示例: NEL: {"report_to":"default","max_age":31536000}

  19. Content-DPR

    • 设备像素比控制

    • 示例: Content-DPR: 2.0

  20. Downlink

    • 客户端网络速度提示

    • 示例: Downlink: 1.5