学习了人类语言之后,人工智能为何有了种族偏见

澎湃新闻网 04-15 09:06 跟贴 513 条

微软的人工智能(AI)聊天机器人Tay

澎湃新闻见习记者 虞涵棋 记者 蒋晨悦

去年3月,微软的人工智能(AI)聊天机器人Tay(小冰的美国姊妹版)在推特上线,可以与任何@她的推特用户聊天。短短24小时后,一个甜美、礼貌的“小姑娘”竟然开始脏话连篇,甚至爆出不少种族主义和性别歧视的言论。这个速成的“AI希特勒”引发网民震惊,被微软草草关进“小黑屋”。

而在4月14日的《科学》杂志上,美国普林斯顿大学和英国巴斯大学的一个联合团队发表了最新研究,证实了这一现象:AI也会表现出各种偏见和歧视,这些偏见涉及种族、性别、年龄等。

论文的作者之一、英国巴斯大学教授Joanna Bryson说道,“人们会说实验说明AI有歧视。不是的。这其实说明我们人类有歧视,被AI习得了。”

深度学习的阴暗面

该团队发明了一种词嵌入关联性测试(WEAT)的方法来测试AI固有的一些偏见。研究者的灵感来源于一种内隐联想测试(IAT)的心理学工具。在IAT测试中,计算机屏幕上闪现一些特性的词汇,而被试者对这些词汇组合不同的反应速度暗示了人们心中隐藏的一些联想。如果被试者对一些白人常用英文名和积极词汇组成的词组、黑人常用英文名和消极词汇组成的词组,有更快的反应,这就指向了潜意识里可能存在的种族偏见。

在WEAT测试中,研究者们不再测试AI对不同词汇组合的反应速度,而是量化地评估AI被内嵌的词汇之间的相似程度。

词汇内嵌(Word Embedding)是机器学习中的重要工具,主要应用在文本分析、网页检索和翻译领域。论文的另一作者、普林斯顿大学的Arvind Narayanan说道,“我们之所以选择分析词汇内嵌,很大的一个原因就是它在过去几年中大大帮助了AI理解我们的语言。”

具体来说,人类语言的词汇是以一串数字的形式输入计算机的。研究者在不同的维度上衡量一个词汇的意义,并赋予一个数字,形成一串数字。数字主要是基于与这个词汇频繁联系在一起的其他词汇给定的。这种看似机械性、纯数学的方法,却比单纯的语义定义更能帮助机器理解人类丰富复杂的语义。

而通过分析哪些词汇的数字串更接近,研究者就会知道AI被内嵌了哪些关联。比如,“冰”和“水”会经常在文本中一起出现,它们的数字串也会更相似。然而,除了这些简单的关联之外,研究者们发现AI还被内嵌了一些更为复杂的关联。比如,“女性”和“女人”会和一些艺术和人文方面的职业联系更密切,而“男性”和“男人”会和一些数学类和工程类的职业联系更密切。

此外,同很多英国人和美国人在IAT测试中的表现一样,AI更倾向于将白人英文名与“天赋”、“快乐”这些积极词汇关联,而将黑人英文名与一些令人不愉快的词汇关联。

基于大量网络文本的深度学习令包括谷歌翻译在内的智能翻译获得了突飞猛进的发展。但现在看来,AI在学习人类语言的过程中,也“被迫”学会了人类文化中固有的一些偏见。

AI“看门狗”

这项研究使用了一个名为“Common Crawal”的数据库,里面包含来自网络公开材料的8400亿个词汇。而研究者 单用谷歌新闻的数据进行实验时,也得到了类似的结果。

哈佛大学的数据伦理研究员Sandra Wachter说道,“这个世界有偏见,历史数据有偏见,因此一点儿也不奇怪,我们得到了有偏见的数据。”

研究表明,人类社会中现存的不平等和偏见结构会借助新兴技术而进一步加剧。鉴于人类正在把日常生活和工作一步步放权给AI处理,这种加剧很危险的。

这种危险性还会被另一个因素放大:人类起码还有道德约束,而程序员在开发AI的时候,可不会想到给他们配置一套伦理道德算法,用以抵御输入数据中的歧视倾向。

不过,Wachter也提到,人们不一定要把它视为一种威胁。“起码我们能知道算法有偏见。算法不会骗我们。但人类是会说谎的。”她说道。

Wachter认为,真正的问题在于,如何在不剥夺AI对人类语言的理解能力的情况下,消除算法的偏见。事实上,AI也可以当人类的“看门狗”。“人类理论上可以开发出一套系统,侦查出人类决策中的偏见,并采取一些措施。这很复杂,但我们不应逃避这个责任。”Wachter说道。

先有语言还是先有歧视?

这项研究还有别的意义。长期以来,人们对人类语言中歧视的起源有所争议。一方认为,人类文本中歧视性的倾向会潜移默化地影响社会的价值伦理;另一方认为,人类社会上的歧视性价值导致了文本中歧视性内容的出现。现在,WEAT有望解答这个类似于先有鸡还是先有蛋的问题。

WEAT可以针对某一个历史阶段的文本对AI进行测试,并与之后一个历史阶段的IAT测试结果进行比对。如果WEAT结果的变化先于IAT结果的变化,这就说明人类的语言会催化社会上歧视性观点的形成;反之则说明是人类潜意识里的歧视性价值,倒逼生成了内嵌有歧视的文本。

原标题:《科学》杂志:人工智能在习得人类语言时也习得了种族偏见

问吧
邱世军 发明家 2.7万人关注

我是发明家邱世军,关于发明创新、专利申请的相关问题,问我吧!