近年来,互联网网络暴力事件日渐加剧和增多,冲突性行为也不断升级。中科院调查过程中发现,近3成中国青少年表示曾经在上网时遭受到了暴力辱骂;美国某调查中数据则显示,全美洲大区范围内近4成受访民众多次经历过各种花式极端和网络暴力。
与此同时,随着各垂类内容平台的不断发展,用户在内容平台上所消耗的时间越来越多,用户对于优质内容的追求也逐渐显露。信息流是一种资料格式,可以通过它将最新的资讯传播给用户,可以理解为信息的有效队列。为了营造健康绿色的内容生态环境,平台开始针对图文信息创建了多方位严格的内容审核和标签体系。
内容平台存在以下问题:低俗内容、重复内容、涉政敏感、血腥暴力、广告引流、诱导互动、过于私人等不适合推荐的内容。
通过建设信息流内容审核平台,加强对平台内各类图文内容的管控,提升优质内容的曝光量和分发效率,降低屏蔽或减少部分网友所发的违规、低质内容,让不法人员减少内容的曝光,打击不良内容,从而维护互联网内容生态。
信息流图文审核平台现状
当前信息流图文平台的内容审核,需要通过对图文内容本身质量的控制来保证整个互联网内容生态的稳定状态,以解决互联网生态中图文内容审核过程中所涉及到的智能审核、人工审核、策略管理、基础服务及权限管理等问题。
人工智能的发展为内容的审核供了新的解决思路,但其本身主要通过数据来进行学习,并没有演绎归纳推理的能力,目前尚且无法判断一些不能明显划分出边界的内容是否合规,很多情况需要借助于人工完成审核。
信息流图文的智能审核
智能审核主要是为了实现系统对于图文内容的初步管理,实现对优质内容的免审或优先审核、过滤违规内容等,并将系统不能直接决策的内容传入人工审核部分,以达到节约审核人员的人力成本,智能审核主要进行违规审核和质量审核。
1)违规审核
违规审核是智能识别部分最重要的功能,违规的内容主要包含政治敏感审核、低俗色情审核、广告营销审核
政治敏感审核是监管部门最看重的部分,因为这类内容常常可能会存在危害国家和社会安全的问题,同时有的自媒体为了博取眼球和关注度可能会恶意发送政治敏感内容,为了防止出现上述问题,需要对此部分内容进行审核;
低俗色情审核是内容审核过程中的重中之重,一个平台内有过多的三俗内容是十分危险的,一方面会面临着大量优质用户的流失,另一方面稍有不慎,可能会因此被相关部门查封,因此需要对内容进行低俗色情的审核;
公司利益审核对公司在用户心目中的形象至关重要,若自家平台上充斥着大量的公司负面信息,对公司而言是极其不利的事情。
2)质量审核
质量审核主要是为了识别出平台中内容的优质内容和低质内容,方便后续内容的分发和推荐策略。其中低质内容主要包括广告营销、诱导互动内容、给竞品导流的内容、自动发布的格式化内容、没有意义的内容等。
此类低质内容过多在短期内看,可能不会对平台造成负面的影响,但长此以往,优质创作者所产出的内容不能得到很好的曝光和消费,可能会出现劣币傡逐良币的情况,甚至损失大量的优质创作者及内容消费者。
信息流图文的人工审核
人工审核是整个内容审核过程中不可或缺的一环,在这个环节中,智能审核过的部分内容将会以人工审核任务的方式下发给审核人员,审核人员会处理智能不能判断是否下发的内容,这一部分主要包含任务发放、任务审核、提交任务等操作,其中涉及初次审核、热审核和负反馈审核等过程。
整一个完成的人工审核过程中,需要审核人员先认领审核任务,认领完成后选择开始审核,审核过程中可以修改审核记录,在审核完成后即可提交审核任务。
经过智能审核后,违规内容再次流转到人工审核部分进行审核的过程即初次审核;经过审核后的内容进入线上分发后,短时间内得到了点赞、浏览、评论,此类内容若有负面信息,会产生极大的影响,因此在达到一定的阈值后,会再次进入内容审核系统进行审核的过程即热审核;经过审核后的内容进入线上分发后,被大量用户举报及进行了负面的评论,在达到一定的阈值后,需要进行复审的过程即负反馈审核。