如果你写一个爬虫，如何避免被网站察觉是爬虫，请简述爬虫伪装措施。如果你负责一个电子商城的维护工作，如何区别正常购物者浏览和爬虫爬取网站数据，请简述你如何判定爬虫，并采取哪些措施可以反爬。

一、爬虫伪装措施如何避免被察觉1. 请求头伪装措施说明示例设置User-Agent伪装成真实浏览器Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36添加Referer模拟从正常页面跳转Referer: https://www.baidu.com携带Cookie保持会话状态从浏览器复制有效Cookie设置Accept头模拟浏览器接受类型Accept: text/html,application/xhtmlxml2. IP伪装措施说明代理IP池使用大量代理IP轮换避免单一IP高频请求Tor网络通过洋葱路由匿名访问VPN更换出口IP地址3. 行为伪装措施说明随机延时每次请求间隔随机如1-3秒避免固定频率模拟鼠标移动使用Selenium模拟真实用户操作轨迹随机点击随机点击页面上的链接而非直接访问目标URL滚动页面模拟用户滚动行为加载动态内容4. 请求模式伪装措施说明分布式爬取多IP、多机器分散请求限制请求频率控制QPS每秒请求数在合理范围优先爬取静态资源先请求CSS/JS/图片模拟真实加载顺序5. 高级伪装措施说明使用Selenium/Playwright真实浏览器驱动难以检测破解JavaScript加密逆向分析反爬JS代码模拟加密算法验证码识别OCR或打码平台处理验证码二、电商网站反爬措施如何识别和阻止爬虫1. 爬虫判定方法1请求特征分析特征正常用户爬虫User-Agent真实浏览器UA默认Python/Java库UA请求频率每秒0.1-0.5次每秒10-100次访问时间分布全天分布夜间少均匀分布或固定周期请求间隔不规则高度规律如固定1秒2行为模式分析text正常用户特征 ├── 有鼠标移动轨迹 ├── 有页面停留时间阅读商品详情 ├── 有随机点击和浏览路径 ├── 会查看图片、放大图片 ├── 会添加购物车、下单转化行为 └── 有登录、注册行为 爬虫特征 ├── 直接请求API接口 ├── 按固定顺序访问URL ├── 不请求CSS/JS/图片资源 ├── 访问深度固定如只爬列表页 ├── 无鼠标/键盘事件 └── 请求间隔极度规律3技术检测手段检测方法原理如何识别爬虫IP维度统计统计单IP请求量超过阈值如1000次/小时标记User-Agent检测分析UA字符串非浏览器UA直接封禁验证码触发异常行为弹出验证码无法通过验证码的是爬虫JavaScript挑战前端执行JS计算token不执行JS的爬虫无法获取token浏览器指纹采集canvas、WebGL、字体信息爬虫指纹与真实浏览器不同蜜罐链接隐藏对爬虫可见的链接访问蜜罐链接的视为爬虫2. 反爬措施1请求层面措施实现方式效果IP限流单IP每秒最多10次请求阻止高频爬虫IP黑名单封禁可疑IP段阻止已知爬虫IP验证码滑块、点选、图形验证码增加爬虫成本User-Agent过滤拒绝非浏览器请求过滤低级爬虫2行为层面措施实现方式效果请求间隔检测统计请求时间间隔方差识别规律性请求访问路径检测检查是否跳过前置页面识别直接访问内页的爬虫点击流分析分析用户点击序列识别机械性访问3数据层面措施实现方式效果数据混淆价格/销量用图片展示增加解析难度字体反爬自定义字体映射数字防止文本直接提取CSS偏移数字用CSS定位显示需要逆向CSS规则接口加密参数签名、动态token需要破解加密算法4技术层面措施实现方式效果WAF防护云防火墙如阿里云WAF自动识别拦截爬虫JS加密前端代码混淆、AST反调试增加逆向难度动态token每次请求token变化爬虫需模拟token生成滑块验证极验、阿里验证码需要破解滑动轨迹3. 典型反爬架构text用户请求 → CDN/WAFIP过滤、UA检测 ↓ Nginx层限流、黑名单 ↓ JS挑战执行前端脚本 ↓ 验证码异常行为触发 ↓ 业务服务器行为分析、风控 ↓ 数据返回可能混淆/加密4. 实际案例对比网站反爬强度主要手段淘宝⭐⭐⭐⭐⭐滑块验证、参数签名、IP限流、设备指纹豆瓣⭐⭐⭐IP限流、User-Agent检测、验证码起点⭐⭐⭐⭐登录验证、章节加密、动态token京东⭐⭐⭐⭐签名算法、滑块验证、IP风控猫眼⭐⭐基础UA检测、简单延时检测总结角色核心策略爬虫方伪装请求头 代理IP 随机延时 模拟人类行为反爬方多维度检测IP、UA、行为 验证码 数据混淆 风控系统核心博弈爬虫追求低成本、高效率获取数据反爬追求增加爬虫成本、降低收益直到爬虫无利可图。