参考资料

1. 列举的这些HTTP响应头中，哪些最有效？
2. 拦截搜索引擎爬虫
3. 列举的这些HTTP响应头中
4. 如何设置动态Token头进行防爬虫？
5. 哪些HTTP响应头可以用于防爬虫？
6. Clear-Site-Data如何中断爬虫会话？
7. 网站防爬虫设置
8. 有哪些新的HTTP响应头用于防爬？

列举的这些HTTP响应头中

1. Cache-Control

• 示例：Cache-Control: max-age=3600, public

• 作用：强制缓存1小时，允许代理/CDN缓存。

2. Content-Encoding

• 示例：Content-Encoding: gzip

• 作用：启用Gzip压缩，减少传输体积。

3. Strict-Transport-Security (HSTS)

• 示例：Strict-Transport-Security: max-age=31536000; includeSubDomains

• 作用：强制HTTPS一年，包含子域名。

4. Content-Security-Policy (CSP)

• 示例：Content-Security-Policy: default-src 'self'

• 作用：限制资源仅从当前域名加载，防XSS。

5. X-Frame-Options

• 示例：X-Frame-Options: DENY

• 作用：禁止页面被嵌入iframe，防点击劫持。

6. X-Content-Type-Options

• 示例：X-Content-Type-Options: nosniff

• 作用：禁止MIME类型嗅探，强制声明类型。

7. Access-Control-Allow-Origin

• 示例：Access-Control-Allow-Origin: https://example.com

• 作用：允许跨域请求，仅限指定域名。

8. Set-Cookie

• 示例：Set-Cookie: sessionId=abc123; Secure; HttpOnly; SameSite=Strict

• 作用：安全Cookie配置，防CSRF/XSS。

9. Location

• 示例：Location: https://example.com/new-page

• 作用：301/302重定向时指定目标URL。

10. ETag

• 示例：ETag: "33a64df5"

• 作用：资源版本标识，用于条件请求（304 Not Modified）。