生成式 AI 对数据与内容的需求迅猛增长，开发者该如何管控 AI 爬虫，保障自身利益不受侵害？
2月4日，腾讯云边缘安全加速平台 EdgeOne 正式向所有套餐用户（含免费版）开放“基础 Bot 管理”能力，包括 AI 爬虫处置、 人机校验页两大重点功能。
EdgeOne 免费开放基础 Bot 管理能力
相比传统爬虫，AI 爬虫访问往往更隐蔽、规模更大，也更难被站点精确区分和管理。开发者为了防止 AI 无偿爬取使用原创内容、占用服务器带宽，往往陷入无休止的“打地鼠”游戏，封禁了一个旧爬虫，隔天又会出现数十个换了“马甲”的新爬虫。
基于此，EdgeOne 的 AI 爬虫处置功能能够基于请求的 User-Agent 字段进行特征识别，并持续更新识别规则，精准识别包括 GPTBot、ClaudeBot、Google-Extended 在内的各类主流 AI 爬虫。开发者无需编写复杂代码，只需在控制台中简单配置，根据自身业务需选择“观察模式”、“拦截模式”、“放行模式”、“挑战模式”等不同处置方式。灵活的处置策略，确保开发者既能阻断恶意的数据收割，也能在需要时拥抱友好的 AI 生态。
点击文末「阅读原文」了解更多。
灵活的 AI 爬虫处置策略，适配不同使用场景
此外，针对频发的自动化攻击，EdgeOne 的人机校验功能能够智能识别可疑 Bot 行为，在不影响真实用户体验的前提下，通过人机验证挑战阻断恶意访问，保护网站免受自动化攻击，为数字内容确权、电商大促、金融交易等高价值场景筑起一道安全防线。
EdgeOne 基础 Bot 管理能力在多个行业得到应用
“AI 技术迅猛发展，内容和数据的访问治理会是一个长期问题。我们开放基础 Bot 管理能力，希望能够帮助每一位开发者从被动防御转向主动管理，更好地掌控自己的数字资产。” EdgeOne 团队表示。
目前，相关能力已在 EdgeOne 控制台上线。未来，EdgeOne 将继续完善 Bot 管理与安全防护能力，帮助开发者在 AI 技术应用与内容权益保护之间建立更清晰的规则与边界。
腾讯云音视频在音视频领域已有超过21年的技术积累，持续支持国内90%的音视频客户实现云上创新，独家具备腾讯云RT-ONE™全球网络，在此基础上，构建了业界最完整的 PaaS 产品家族，并通过腾讯云视立方 RT-Cube™ 提供All in One 的终端SDK，助力客户一键获取众多腾讯云音视频能力。腾讯云音视频为全真互联时代，提供坚实的数字化助力。
