把松鼠当海狮、蜻蜓当井盖……为什么影象识别AI会犯这些低阶错误？ 
目前的人工智能技术已经非常擅长识别影象中的物体，但仍然很容易犯些“低阶错误”。
在部分情况下，只需在人眼不可见的静态噪声中新增一些可选的笔触或图层，就可以“愚弄”AI影象识别系统，这有时甚至会造成致命的后果。
例如，曾有研究人员将打印的涂鸦贴在路牌上导致AI自动驾驶系统将限速标志识别为禁行，腾讯科恩实验室也曾释出报告称路面上难以注意到的小贴纸就能误导特斯拉错误判断并驶入反向车道。
这些误导标志被称为“对抗补丁”，研究人员现在正忙于开发保护人工智能系统不受这些例子影响的方法。
但在去年的一篇论文中，Google Brain和普林斯顿大学的一组研究人员，包括该领域最早的研究人员之一Ian Goodfellow，认为这些新研究过于理论化，没有抓住重点。
他们说，虽然大部分研究的重点是保护系统免受特别设计的标志的干扰，但黑客可能会选择一种更直接的方法:使用一张完全不同的照片，而不是在现有照片上叠加噪音图案。这也可能导致系统误判断。这一批评促使加州大学伯克利分校的博士生Dan Hendrycks编写了一个新的影象资料集。
这个资料集中包括一些容易被误判的影象，比如松鼠(它们通常会被误认为是海狮)或蜻蜓(它们会被误认为是井盖)。他表示:“这些例子似乎更难防范。”
人工合成的对抗标志需要知道所有的人工智能系统是如何防范误判的。但相比之下，即使人工智能系统各自的防范措施不同，这些自然的例子也能很好地发挥作用。
Hendrycks上周在国际机器学习会议上释出了该资料集的早期版本，包含大约6000幅影象。他计划在几周内释出最终版本，其中包括近8000个影象。他打算让研究团体使用该资料集作为基准。
换句话说，与其直接在影象上训练影象识别系统，不如将其保留下来只用于测试。他说:“如果人们只是用这些资料集训练系统，那么系统仅仅只是记住了这些例子。这样虽然系统已经解决了误判这些影象的问题，但它们对新影象的误判程度并没有得到改善。”
破解这些令人困惑的误判背后的逻辑，可能会让系统的适应性更广。“为什么系统会把蜻蜓和鳄梨色拉酱搞混?”Hendrycks开玩笑道，“根本不清楚为什么会犯这样的错误。”
为什么人工智能会误判?
有些人工智能系统的底层计算机制是已知的，有些则不是，这被称为“黑箱”，即该系统的开发者可能都无法完全了解系统如何做出决策。
对于影象识别技术来说，有时原因是因为给定的训练资料集出了问题。比如近日Facebook人工智能实验室的一项新研究就表明，科技巨头销售的物体识别算法在识别来自低收入国家的物品时表现得更差。
据报道，研究人员测试了五种流行的现成物件识别算法——微软Azure、Clarifai、GoogleCloud Vision、亚马逊Rekognition和IBM Watson。而测试的影象包括来自全球不同阶级的家庭的家中用品的影象。这些影象可能来自非洲布隆迪的一个月收入27美元的家庭，也可能来自乌克兰一个月收入1090美元的家庭。
研究人员发现，与月收入超过3500美元的家庭相比，当被要求识别月收入50美元的家庭的物品时，物体识别算法的出错率要高出10%左右。
而且在识别来自美国的照片时，算法的准确性也比识别来自索马里或布基纳法索的照片要高出15%至20%。
研究人员称，在一系列用于影象识别的商业云服务中，这些发现具有一致性。
人工智能算法的这种“偏见”还有很多别的例子，其中一种常见的推测原因是用于培训的资料有了偏颇——它们往往反映了相关工程师的生活和背景。由于这些人通常是来自高收入国家的白人男性，他们训练的算法所要识别的世界也是如此。
研究人员称，视觉算法的训练资料主要来自欧洲和北美，“在人口众多的地理区域，特别是非洲、印度、中国和东南亚，对视觉场景的取样严重不足”。
由于美国科技公司在人工智能领域处于世界领先地位，这可能会影响到从照片储存服务、影象搜寻功能到更重要的AI安全摄像头、自动驾驶汽车等系统的方方面面。
“评估人工智能系统并不一定容易，因为没有执行这类评估的标准基准。”帮助开展这项研究的Facebook人工智能研究科学家劳伦斯·范德马顿(Laurens van der Maaten)在接受采访时表示。
“对抗这种偏见最重要的一步是，在培训AI系统之前的资料收集环节就要谨慎得多。”
值得注意的是，科技公司们经常把自家人工智能产品宣传为“人人平等、人人可得”，但实际上，它们可能只是在按照自己的形象来评估、定义和塑造世界。
