robots.txt在网站根目录创建robots.txt文件示例内容： User-Agent检测检查请求头中的User-Agent字段屏蔽常见爬虫标识（如Scrapy、Bot等）IP限制设置访问频率阈值（如每分钟60次）自动封禁高频访问IP验证码在敏感操作前添加验证码（如登录、表单提交）使用reCAPTCHA等第三方服务动态内容加载使用JavaScript渲染关键内容通过AJAX异步加载数据请求参
