随着互联网的飞速发展，我们进入了一个信息爆炸的时代。图文、视频、聊天、直播等互动内容已经成为人们日常工作、生活不可或缺的部分。然而，在这些日益增长的内容中却充斥着各种不良言论、垃圾广告、涉黄等网络垃圾。这些流窜在互联网中的垃圾内容，不仅极大程度影响了用户体验，也让不少企业倍感困扰。
面对日益复杂的安全形势，企业该如何“祛污”，守护内容安全？在首届腾讯 Techo 开发者大会云安全技术与应用专场上，腾讯安全业务安全总监杨红围绕《新时代的内容风控实践与创新》，针对文本、图片、音频等载体的内容安全，从现状分析、算法选择、对抗过程及实践效果等方面着手，全景呈现了腾讯安全天御在守护内容安全上的实践经验。
音频丨色情AI识别模型，毫秒级识别不良音频
音频是现阶段网络上发展最快的信息载体。当下，游戏内语音交流已成常态，无论是手机游戏中的音频传输，还是通过语音及时通讯工具传输的音频内容，都是音频垃圾内容的灾区，但音频内容时间短、信道复杂，难以识别，成为内容安全监管中的难点。
在海量的音频识别中，“鉴黄”无疑挑战巨大。相较标准AV音频的识别，色情音频在内容、时长和信道维度都有其特点，比如存在静音、噪声干扰大，存在较大的背景音乐，而且时间较短，编码格式多样和采样率不统一等特点，这都为识别造成一定困难。针对这一问题，腾讯安全基于AI设计了一套色情音频识别流程，通过相应技术去掉静音内容，对音频进行分段识别，最后根据每个片段的得分和时长汇总得到整条语音内容的识别结果。针对音频样本搜集与标注的难点，腾讯安全天御大量综合网友举报，通过多类型、多标签标注，已实现音频鉴黄的准确率达到82%、召回率达到90%以上。
而针对网络谩骂，腾讯安全天御构建了高性能多语种语音关键词系统，通过特征提取、声学建模和解码等技术加持，可毫秒级识别不良音频。
文本丨线上打击+离线主动收集标注，恶意文本无处藏身
网络文本是网络中最大的信息载体，几乎所有互联网平台都面临文本安全问题。网络文本类垃圾消息通常含有特殊符号、变异字、多音字、形近字干扰，而传统的文本策略抗干扰能力弱，常常会导致误杀。
腾讯安全天御对此专门建立了一套垃圾文本识别模型——TextCNN文本分类算法，通过在线实时打击和离线主动收集标注让恶意文本无处藏身。在线模型训练中，补充了拼音和结构信息用于训练，对训练数据添同音字和拆字，提升抗干扰性。对于线上模型不能覆盖的新类型恶意垃圾，腾讯安全天御设计了离线样本主动收集流程，让学习算法主动提出要对哪些数据进行标注，增量训练分类模型进行实时打击。
在这套算法的支撑下，腾讯安全天御提升了至少50%以上的识别覆盖范围，准确率和召回率分别达到90%和80%以上。
图片丨多标签学习+细粒度识别，扫荡网图黑暗角落
图片是仅次于文本的第二大信息载体，其面临的识别挑战比文本更大，腾讯安全天御针对性地提出了多标签的图像识别算法，支持多标签输出、多种标签预测，这意味着在一定颗粒度下，给图片配上“身份证”以便识别。
腾讯安全天御丰富的数据积累是这套算法得以运行的关键。目前腾讯安全天御积累了各种涉黄图片数据500多万，每张图片有5个主要标签和10个细粒度标签。在标签识别中，不同的标签数量差距大、样本不平衡，各维度标签响应不同、统一阈值召回低的情况普遍存在，这也成为图片识别中的难点，腾讯安全天御采取标签级动态采样，使低频标签召回率提升15%；对维度标签问题，则使用验证集进行阈值搜索，设置多阈值。
与此同时，腾讯安全天御自研的logo元素识别算法，能够做到做到不同位置、尺度、分辨率、透视视角、遮挡干扰情况下具备良好的识别效果，准确率和召回率分别达到90%以上。
企业在接入腾讯安全天御内容风控的能力上非常便捷。腾讯安全天御不仅提供API接口，还可以协同腾讯云等产品接入企业的内容风控系统，帮助企业零开发、快速识别平台中可能存在的违规内容。
目前，腾讯安全天御的内容风控通过腾讯云和微信小程序已服务超过5万家开发者，行业渗透率达90%，审核效率提升20倍以上，业务健康程度达到99.89%，守护数万家客户的内容安全，保障业务健康开展，守卫互联网的清朗绿色。
点击【阅读原文】，快速接入腾讯安全天御内容风控
➤推荐阅读
关注腾讯云安全获取更多资讯
点右下角「在看」
开始我们的故事
