当AI融入生活:能力越大,管理越难!
作者: 日期:2021年10月08日 阅:1,258

2019年,OpenAI发布了Safety Gym(https://openai.com/blog/safety-gym/),这是一套用于开发遵守某些“安全约束”的AI模型工具。当时,OpenAI声称可以通过Safety Gym,比较人工智能算法的安全性,以及这些算法避免犯错误的能力。

从那时起,Safety Gym就被用于衡量OpenAI、加州大学伯克利分校、多伦多大学研究人员提出的算法性能。但一些专家质疑人工智能“安全工具”是否有效,或者说,它们是否使人工智能系统更安全?

伦敦玛丽皇后大学人工智能研究员库克指出:“正如OpenAI指出的,他们试图为AI系统不能做的事情制定规则,然后让AI代理在规则内找到解决方案,但前提是你需要很多规则。当然,我们可以添加更多规则和更多约束,但如果不能确切地知道AI会提出什么解决方案,总会出现不受欢迎的优化。”

库克举了自动驾驶汽车避免碰撞的例子,他指出,如果缺乏相关规则,人工智能可能会让车距保持在两厘米左右,或者做任何其他不安全的事情,然后基于此再在规则内优化。这对于自动驾驶汽车的乘坐人员来说,这种“试错”成本难以接受。

英特尔Mobileye 以及英伟达(Nvidia)等公司提出一些模型,来保证人工智能决策的安全和“合乎逻辑”,特别是在自动驾驶汽车领域。

2017年10月,Mobileye发布了一个名为责任敏感安全(RSS)的框架,这是一个“确定性公式”,其中包含“逻辑上可证明”的道路规则,旨在防止自动驾驶汽车引发事故。Mobileye声称,RSS为道路决策提供了一种常识性方法,可将良好习惯编入法典,例如保持安全的跟车距离,并为其他车辆提供先行权。

英伟达对这一概念的理解是安全力场(Safety Force Field),即通过分析传感器数据,做出预测来监控不安全的行为,目标是最大限度地减少伤害和潜在危险。安全力场利用Nvidia已在现实世界、合成高速公路及城市场景中验证的数学计算,可以同时考虑制动和转向约束条件,使其能够识别由两者引起的异常。

这些工具的目标是安全(Safety),从表面上看似乎很好。但正如库克指出的那样,围绕“安全”以及谁来定义什么是安全,存在很多社会学问题。FICO报告显示,有65%的员工无法解释其公司如何做出 AI 模型决策或预测,更不用说他们是否“安全”了。

“作为一个社会,我们在某种程度上就风险水平达成共识,有时我们会将这些写入法律,比如预计每年会发生一定数量的车辆碰撞。但是当谈到人工智能时,我们可能希望提高这些标准,因为这些系统是可以完全控制的,与人不同。”库克继续说道,“对安全的担忧是可以理解的,但我们最终需要接受这样一个事实,人工智能的安全性不可能让所有人都能满意。”

例如,虽然今天的自动驾驶和ADAS系统,可以说比人类驾驶员更安全,但它们仍然会犯错——特斯拉最近的困境证明了这一点。库克认为,如果人工智能公司对其产品行为,承担更多法律和财务责任,该行业将采取不同的方法,来评估其系统的安全性,而不是试图“事后解决问题”。

佐治亚理工学院数字媒体副教授纳西姆·帕文 (Nassim Parvin) 认为,围绕自动驾驶汽车的讨论过于乐观,也许对车祸中丧失生命的“真正关怀”可以作为重新思考的起点。她表示:“AI系统设计应该超越错误的二元权衡,过分强调意图和目标,会导致人们直奔快速的技术解决方案,而忽略对社会系统复杂性的考虑。‘意外后果’这个词是深刻讨论人工智能设计的重大障碍,而不是促进因素……”

单一工具不太可能阻止人工智能系统中的不安全决策,这需要产品所有者、风险评估人员和用户,共同参与人工智能潜在缺陷和风险的对话,以便创建一个能够暴露、测试和缓解人工智能风险和缺陷的流程。


相关文章