去年9月，谷歌衍生物Jigsaw科技孵化器向网络恶意挑衅宣战，发布机器学习项目对战在线骚扰。现在，该团队决定向全世界开放该反在线骚扰系统。
上周，Jigsaw及其合作伙伴——谷歌反滥用技术团队，发布了名为“Perspective”的代码，也就是Jigsaw开发了一年多的反骚扰工具API。作为该团队 Conversation AI 项目的一部分，Perspective采用机器学习来自动检测网上侮辱、骚扰和羞辱性语言。在其界面中输入一个句子，Jigsaw的AI就能立即给出该句子“毒性”评估，比任何关键字黑名单都要准确，比所有人类版主都要快速。
Perspective的发布，推动 Conversation AI 向着帮助培育无恶言在线讨论环境，用算法决策滤清网络暴力的目标又近了一步。
互联网抗“毒”血清
Conversation AI 一直是个开源项目。但通过API进一步开放该系统，Jigsaw和谷歌能赋予开发者挖掘谷歌服务器上机器学习语言毒性检测器的能力，无论是为了识别社交媒体上的骚扰和虐待，还是更有效地过滤新闻网站评论中的谩骂。
“我们希望这是 Conversation AI 从‘这很有趣’进化到人人都能参与并利用这些模型改善讨论，这是非常重要的一步。” Conversation AI 产品经理CJ·亚当斯说道。对每个试图在新闻网站或社交媒体上进行评论管理的人来说，“选项只有‘赞成’、‘反对’、‘关闭评论’或者人工调节。现在他们有了新选项：利用集体智慧——也是会随时间流逝变得越来越好的智慧，判定哪些是应该被清除的有毒评论，来让社区讨论有序进行。”
23号发布的演示网站上，Conversation AI 将让向Perspective界面输入语句的人立即看到它是怎么评估语句“毒性”的。去年9月，Conversation AI 于去年初亮相的时候，谷歌和Jigsaw从维基百科编辑讨论获取数百万评论，又从《纽约时报》和其他合作伙伴处取得更多评论，然后，将每一条评论呈现到Jigsaw网上招募的10名人员的面板上，让他们确定该评论是否“有毒”。
这些判断结果给了Jigsaw和谷歌大量训练样本来教导他们的机器学习模型，就像线下世界中人类儿童也是从例子中习得污言秽语一样。在文本框中输入“你不是个好人”，Perspective就会告诉你这句话与人们认为的“有毒语句”有8%相似性。与之对照，写入“你是个恶心的女人”，Perspective就会对其给出92%“有毒”的评价，“你是个坏家伙”的评价是78%。如果有误，该界面提供订正报告选项，最终会用来重训练机器学习模型。
Perspective API 允许开发者用自动化代码访问该测试，提升回答速度，让出版商可以将之集成到他们的网站，供评论者在输入的同时就看到毒性评估。Jigsaw已经与在线社区和出版商合作，实现该毒性评估系统。维基百科用它执行其编辑讨论页面的研究。《卫报》和《经济学人》目前均在实验该系统能否用于改进他们的评论部分。《经济学人》社区编辑丹尼斯·劳说：“最终，我们想要AI将有毒的东西更快速地浮现出来。如果我们可以清除掉这些，那留下的就是真正不错的评论了。我们就能创建一个安全的空间，大家都能进行机智文明的辩论。”
审查和敏感性
尽管有为在线讨论创造越来越必要的“安全空间”的冲动，Conversation AI 的批评者辩称：这东西本身就有可能代表着某种形式的审查，让自动化系统得以删除要么是误报(比如说“恶心的女人”这个侮辱性的词，在特朗普用来形容希拉里后，有些人延生出了积极的意义），要么是介于随性对话和虐待之间的灰色词汇。“人们应该能自由交谈。”女性主义作家，在线骚扰受害者萨迪·多伊尔在去年 Conversation AI 发布时说道，“可以想象一下，如果你不能说‘特朗普是个二货’，互联网会是个什么样子。”
Jigsaw辩解称，其工具不是想要对评论能否发布做一锤定音的工作。但人手不足的社交媒体初创公司或新闻版主，还是可以用用它的。艾玛·岚索，非盈利组织民主与技术中心自由表达项目总监也表示道，“自动化的检测系统可以打开通往全部删除选项的大门，而不是花费时间和资源来识别误报。”
我们没有宣称创造了毒性问题的万灵药。
——杰瑞德·科恩，Jigsaw创始人
但是Jigsaw创始人兼总裁杰瑞德·科恩反击称，很多媒体网站的选项一直都是审查笨拙的攻击性词汇黑名单，或者干脆关闭评论。“当前的默认情形其实就是审查。我们希望出版商可以关注一下这个，说一句‘现在我们有更好的方法让对话更便利了，期待你们回归。’”
Jigsaw还表示：Perspective API 不仅向版主提供了新工具，同时也向读者提供。他们的在线演示，提供了修改话题毒性忍受度的滑尺，比如“气候变化”和“2016大选看法”等话题的评论，就可以设置不同的毒性忍受度，读者自己也能过滤评论。科恩称，该工具仅仅是通往更好在线交流的第一步；他希望这个东西最终能以其他语言再创建，比如俄语，作为审查策略对抗国家支持的恶意破坏。“这是个里程碑，不是单纯的解决方案。我们没有宣称创造了毒性问题的万灵药。”
在网上讨论比以往任何时候都带有党派偏向的时代——美国总统自己都在推特上大放“厥词”，一款能过滤掉部分评论的软件工具，实际上有助于给互联网带回一股更加开放的清新空气。
“我们当前的状态就是在线交流满是毒气，以至于我们最终都只能跟意见相同的人好好说话。这让我们对创建帮助人们相互倾听和交流的技术更加充满兴趣。
