Cache-Control示例：Cache-Control: max-age=3600, public作用：强制缓存1小时，允许代理/CDN缓存。Content-Encoding示例：Content-Encoding: gzip作用：启用Gzip压缩，减少传输体积。Strict-Transport-Security (HSTS)示例：Strict-Transport-Security: max-a
Content-Security-Policy (CSP)限制页面资源加载来源示例: Content-Security-Policy: default-src 'self'X-Frame-Options防止点击劫持示例: X-Frame-Options: DENYX-Content-Type-Options禁用MIME类型嗅探示例: X-Content-Type-O
Clear-Site-Data 如何中断爬虫会话？1. 工作原理Clear-Site-Data 是一个 HTTP 响应头，用于强制浏览器（或爬虫使用的浏览器引擎）清除存储的会话数据，包括：Cookies（会话凭证）LocalStorage / SessionStorage（本地存储）Cache（缓存）Execution Contexts（执行上下文，如 Service Workers）当爬虫（如
有效的HTTP响应头及其操作示例：Content-Security-Policy防止XSS攻击示例： X-Content-Type-Options阻止MIME类型嗅探示例： X-Frame-Options防止点击劫持示例： Strict-Transport-Security (HSTS)强制HTTPS示例： X-XSS-Protection启用浏览器XSS过滤器示例： Referrer-Polic
HTTP响应头用于防爬虫的详细说明及操作示例1. User-Agent 验证作用：检查请求头中的 User-Agent 是否合法，拒绝非法爬虫。示例（Nginx 配置）：2. Referer 检查作用：限制请求来源，防止直接访问或跨站爬取。示例（Nginx 配置）：3. X-Requested-With 识别 AJAX 请求作用：确保请求来自前端 AJAX（如 XMLHttpRequest）。示例
生成Token使用服务器端生成唯一Token（如UUID或JWT）设置Token有效期（如5分钟）Token传递方式通过HTTP响应头返回（如X-Auth-Token）或在API响应体中返回token字段客户端处理前端JS提取并存储Token（localStorage或内存）后续请求携带该Token（放在Authorization头）服务端验证检查请求头中的Token有效性验证过期时间、签名等信息
Cache-Control: no-cache 表示不缓存误区：很多人认为 no-cache 表示完全不缓存。事实：no-cache 允许缓存，但要求每次使用前必须向服务器验证（发送 If-None-Match 或 If-Modified-Since 请求）。真正禁止缓存的是 no-store。混淆 Expires 和 Cache-Control 优先级误区：认为 Expires 和 Cache-
以下是利用HTTP响应头设置防爬虫的详细方案，结合技术实现与安全策略：一、基础防护头设置X-Content-Type-Options: nosniff强制浏览器遵循声明的MIME类型，防止爬虫通过内容嗅探获取非文本资源（如JSON数据伪装为HTML）。X-Frame-Options: DENY/SAMEORIGIN禁止页面被嵌入iframe，防止点击劫持类爬虫工具抓取内容。Referrer
robots.txt在网站根目录创建robots.txt文件示例内容： User-Agent检测检查请求头中的User-Agent字段屏蔽常见爬虫标识（如Scrapy、Bot等）IP限制设置访问频率阈值（如每分钟60次）自动封禁高频访问IP验证码在敏感操作前添加验证码（如登录、表单提交）使用reCAPTCHA等第三方服务动态内容加载使用JavaScript渲染关键内容通过AJAX异步加载数据请求参
