这不是你,是算法
发起人:不举手不发言  回复数:0   浏览数:93   最后更新:2021/01/11 08:31:41 by 不举手不发言
[楼主] 不举手不发言 2021-01-11 08:31:41

来源:黑齿杂志  本杰明·伯曼


编者按:

《黑齿》杂志与现代汽车文化中心联合呈现展览“AI:爱与人工智能”的相关文章,由展览策展人陈嘉莹编译。本系列共有三篇,本次推送为最后一篇,由参展艺术家本杰明·伯曼撰写,陈嘉莹翻译。

译者按:
游戏《怪物配对》是展览“AI:爱与人工智能”的起点,也将作为此次项目的结点,为2020年画上休止符。我们约翰娜·布鲁克娜的文章中看到一种受“量子纠缠”启发的分子共生体,也通过王业丰的文章重新审视了展览意欲批判的二元结构,这些都与言论两极化与身份政治激增的当下密切相关。这篇来自《怪物配对》开发者本杰明·伯曼的文章,同样提供了针对此现状的具体方案,通过详细的数据与研究,向我们解释了那孕育亲密关系的指尖“游戏”到底意味着什么,它们又是怎样从爱出发,却最终制造了恨。


本杰明·伯曼 & 米格尔·佩雷斯,《怪物配对》,2020,电子游戏

约会应用程序能帮你找到爱情吗?可以!在当下的美国,算法配对是单身男女约会的主要方式。但大多数应用开发商并不会想让你知道:他们的特殊算法能做到与邂逅真爱完全相反的事。它将让你和你的真命天子/女以及与ta们相似的每个人都失之交臂,这完全出于某些你不可控的因素。

线上约会的现状

约会应用在网络中扮演了好的角色吗?如果你问开发它们的人,你会得到一个响亮的回答 “是”。Tinder和OkCupid的所有者Match Group在2018年的调查中发现,“相比其他平台,单身人士更经常通过网络开始第一次约会”。这些公司希望你相信所有人都在使用约会应用,并且他们通过数字来证明这一点。我个人很钦佩OkCupid的创始人克里斯蒂安·鲁德(Christian Rudder),因为他在展示约会应用程序的运作与助人交友功能的时候,十分强调透明和严谨。

但根据独立研究的结果,约会应用很难被判断到底有多好。尽管有这么多的线上约会,美国人仍比以往任何时候都要孤独。一些专家认为,这是因为技术将人们分开了。但另一些专家认为,男女之间受大学教育程度的差异才是问题的真正原因。

图1:OkCupid上的男性如何评价女性?(2014年)
OkCupid在其博客OkTrends上公布关于用户评分与种族关系的数据。数据表明,黑人女性在所有男性的平均评分中总是处于低位。

图2:2009-2014年OkCupid上的偏好趋势
此图显示了2009-2014年期间的评价结果。这些结果表明:随着时间的推移,用户在与不同于他们的人约会方面,能获得越来越高的舒适感。尽管这可能是由于用户喜好在此期间真的发生了变化,但应用设计也可能在与种族相关的评价中持续发挥作用。

鲁德先生曾经在查看约会应用的具体数据时感叹道:“这些网站存在着(尤其针对黑人用户的)偏见”。相反,也有证据表明,线上约会与趋高的跨种族结婚率有关。因此,对于约会应用是让约会变得更好还是更糟糕这件事上,我们还没有达成共识。有一件事可以确定:部分人从约会应用中得到的好处比其他人多得多。作为千禧一代的一员和游戏开发者,我向你保证,约会应用程序是一个游戏,有赢家也有输家。但也不要轻信我说的话:还是去逛逛那些专注于线上约会的网络社区吧。

在那里,得到匹配的人会分享策略,比如说什么话进行搭讪,什么时候开始滑(选人),甚至你应该(在平台上)发布与什么品种的宠物的合照。没有得到匹配的人则谈论过去的关系、争论政治——或者更多的时候——责怪女人。围绕约会的话题总是集中在技巧上,而忽略了网络约会真正的特别之处:算法。

算法在约会应用的历史中不断演变。当互联网由 “电子布告栏系统”(bulletin board systems,或者说某种数字告示牌)组成时,算法匹配基本上是随机的。谁出现在网站上,谁就和谁匹配。现在,人们使用的应用仍然有这样的工作方式,比如微信的“摇一摇”,只要两个人同时摇手机就能匹配。

图3:约会应用的受众规模(2017年)

2017年12月,产业数据服务机构Statista对约会应用受众规模做出了这样的估算。这显示了有多少用户在2017年至少使用过一次该应用。Tinder拥有820万用户,是最大的约会应用程序。


后来,约会应用通过一些 “清醒算法”(sober arithmetic)来匹配用户,正如OkCupid的创建者所说的那样。这个想法是,用户如果在诸如外貌、地理位置和日常生活其他方面的个人问题上能够互相匹配,那么他们就能建立一段良好且浪漫的关系。这种算法采用计数的形式,两人之间达成的每一个匹配项都会增加一分,而不匹配项则会扣除一分。最好的匹配就是获得分数最高的那个人——本质上说,好的匹配就意味两个人有很多的共同点。

约会应用算法

现在,应用程序使用一种复杂的算法——协同过滤(collaborative filtering),以根据观影历史进行推荐的功能著称。协同过滤试图寻找有共同喜好的群体,不管这个群体是什么样的,接着它会根据这个群体的喜好向个人进行推荐。协同过滤不需要人们可能有的不同共性(如以OkCupid中的选项为例:年龄、家乡、音乐的品味、对吸烟的态度等),算法无论怎样都能从中找到人们喜欢一个人而非另一个人的依据。

线上约会的现状中非常重要的部分是:协同过滤太有效了,以至于几乎所有的应用程序都在使用它。它在你的脸书(Facebook)和推特(Twitter)推送里、你的谷歌(Google)搜索里,还有网飞(Netflix)和亚马逊(Amazon)推荐里。它也并不是那么复杂。你已经看过无数次“你可能也喜欢...”了。亚马逊怎么会知道你可能也喜欢什么,为什么用 “也”这个词?因为你不是地球上唯一一个买玉米片的人。亚马逊会查到买玉米片的人还买了什么:salsa辣酱。所以它不需要真正了解玉米片和辣酱之间的内在关系,就知道“你可能也喜欢”辣酱。同样的事情也发生在约会上,只不过提供的选项是人。

约会应用中的协同过滤意味着,其中最早和最多使用应用的人将对后来者看到的资料有巨大的影响。一些早期用户说她们喜欢(通过右滑)其他一些活跃的用户。并且同一些早期用户说她们不喜欢(通过左滑)一个犹太裔用户的个人资料,不管出于什么原因,只要一些新人也向右滑动那些活跃的用户,算法就会认为新用户“也”会不喜欢犹太裔用户。根据协同过滤,相似的用户有相似的喜好,所以新用户将永远不会看到那个犹太人的资料。对这一现象的新近研究将改变你对线上约会的看法。约会应用的用户对其他用户逐一做出“是”或“否”的决定,这些数据会被统计出来,计算出该用户与谁的喜好最相似。然后,借用老用户的数据为新用户做推荐:这就是应用程序确定显示下一个资料的方法。虽然许多传统的约会应用会提供浏览模式,但大多数人更喜欢查看单一的个人资料,并做出是/否的决定。应用程序如此深度使用协同过滤,不仅是因为它在匹配方面很有成效,也因为其用户界面设计比浏览模式更受欢迎。

协同过滤也有它的副作用:比如对那些有着特殊偏好的用户就不太友好。所以,应用厂商们也纷纷做起小众应用,以迎合一个用户群体的需求,让协同过滤更加有效。市场上有几十款针对特殊倾向的约会应用,比如针对拉丁裔用户的Amo Latina、针对犹太裔用户的JDate,以及针对LGBT用户的Grinder。这些应用大多属于同一家公司(Match Group,IAC的子公司)。它们并没有本质区别:它们的工作原理相同,甚至有相同的界面。

但由于各种原因,它们可能会吸引那些在Tinder等用户群较大的应用中不太走运的用户。庞大的用户群会让公司赚的盆满钵盈。但庞大的用户群也会让不常见的喜好看起来更不常见,常见的喜好看起来更常见。

协同过滤的有效性与科技公司吸引用户的目标之间存在着矛盾。这导致的结果是:许多由同一家公司开发的应用程序,将用户按照宗教、种族、性取向和地域性划分。这就是当今网络交友的现状。

新的结果


一个全新的模拟[1] 量化了我们对约会应用的直觉:协同过滤中的反馈循环给多数用户提供了更好的匹配,而牺牲了少数用户的利益。它存在着一些固有的特点,使其不利于那些在(偏好、开始使用约会应用的时间以及数量等)数据中代表性不足的人。协同过滤在无意间,再现了现实世界机会不平等的潜在原因。

这都是题外话,因为没有完美的约会算法,只有妥协。在约会中,人们的需求和付出是不平衡的。所有的喜好不可能满足所有人。

一个简单的解决方案:约会软件可以提供一个“重置按钮”,清除你的“喜欢”历史,重置算法对你的看法。或者就现在,你可以删除并重新创建你的约会应用账户。这两种方案都以一种重要的——避免成为同谋的方式——来控制算法。但我们并不是在提供更好的替代方案来代替协同过滤,而那些建议我们这么做的人也没有抓到重点。

社会理应能够通过查询代码的方式来检查算法是如何工作的。脸书首席执行官马克·扎克伯格曾承受数小时的国会质询,以回答有关脸书新闻推送的算法问题。他从未解释算法在根本层面上是如何工作的,这是许多国会议员提出的问题,但我们仍没有权威的答案。

答案当然是“协同过滤”,但这只是作为软件行业的时代潮流被人熟知,而不是因为脸书以外的人看到了代码。所以我们还是看看代码吧!

我开发的这个游戏[2] 展示了典型的约会应用算法是如何工作的。你不需要真的去参加什么约会。这个游戏只是一个模拟。不过你还是会建立一个档案:一个怪物档案。它被称为MonsterMatch,它使用协同过滤来决定你将对哪些怪物有左滑右滑的权力,并且哪些怪物你将永远没有机会看到。

我们也会分享所有的代码[3] ,因为非专业的解释往往会被约会应用的合作者利用,以此传播算法所有者希望你听到的故事。如果你想看看协同过滤在约会应用中到底是如何工作的,请在脚注链接中阅读算法[4] 。部署协同过滤(至少在约会应用中)的科技公司,永远不会这样做。但他们应该这样做!分享代码是防止人们告诉你一件事而实际上却用软件在做另一件事唯一的防御措施。

在我们看来,如果一个算法的代码以某种方式惩罚了某些人,它不一定是非法的:但人们应当知道这是如何发生的。这应该能安抚那些抵制对推荐算法等核心知识产权进行监管的大型科技公司。知情的消费者将能改善数字包容(digital inclusion)[5] ——少数群体在网上受到的待遇。但有时分享代码是不够的。有些代码,比如协同过滤,缺乏“可解释性”。即使我们知道代码的作用,也很难知道它这么做的原因。每当算法需要计量大量数据时,比如计算滑屏(swipes)的数据,就会出现“可解释性”的问题。所以,如果你试图寻找一段代码,如“犹太裔用户的得分更低”,你将无功而返。这并不是它的工作方式。

在算法无法被解释的情况下,我们应该要求提供算法结果的数据。也就是说,如果一个算法的结果意味着歧视,即使没有一段代码表明了“歧视”,这个算法也是具有歧视性的。例如,如果有一些共性存在于第一次使用约会应用却很快就放弃的用户们,我们就应当弄明白那是什么。

我们根据结果对医药、能源、金融、农业、交通安全和教育进行监管和检查。这些条例的关键特点是共享信息,为消费者提供选择与保护。这些行业仍然在创新和盈利。我们应该把同样的标准应用到算法上。

与其他行业不同,约会应用已经收集了关于用户及其行为的全面数据。对他们而言,回答关于算法结果的问题几乎没有负担成本。虽然我们很难确切知道该问哪些问题,但要回答这些问题或许只需要花一个下午搜索数据库。

如今我们已经知道:约会应用们实际上是在隔离用户——针对犹太裔用户的JDate和JSwipe、为拉丁裔用户设计的Amo Latina与为沿海用户服务的Tinder——几十个应用程序同时存在着,而每个应用又都有自己的社区。通过使用这些区隔的应用程序,用户的满意度显得更高。约会应用的创建者也会写信给编辑表达同样的意思。但区隔肯定是有代价的。

被汇集到一个较小的、分离的群体,通常会让你的机会更少。在区隔的交友软件中没有任何证据可以具体表明这一点。这些数据并不允许被独立研究。但历史表明,区隔的过程必然不利于那些被孤立的人。反种族通婚的法律加剧了后代间的不平等。因为这影响到谁要和谁生子,一款分隔人群的约会应用可能是这可耻历史的高科技版本。

鉴于这种不确定性,我们应该为公众提供足够的信息,让他们对使用什么样的约会应用程序做出明智的选择。所以,把代码也分享给算法,让用户决定他/她们是否会在约会应用游戏中得到公平对待。

我们的预测是:如果人们真的知道这些应用程序对他们有多大的影响,他们就会停止使用这些应用程序。对于互联网巨头来说,这是最可怕的事情。

原文为英文,由陈嘉莹中译
英文编辑:傅麦
实习编辑:陈百超


注释
[1] 钱尼·阿利森·J·B,布兰登·M·斯图尔特,和芭芭拉·E·恩格哈特。“推荐系统里的算法混淆是怎样提高同质性并降低实用性”。《第12届ACM推荐系统会议论文集》,2018年。doi:10.1145 / 3240323.3240370。
[2] https://monstermatch.hiddenswitch.com/
[3] https://github.com/hiddenswitch/Monster-Match
[4] https://github.com/hiddenswitch/Monster-Match/blob/master/Assets/Scripts/MonsterMatch/CollaborativeFiltering/NonnegativeMatrixFactorization.cs
[5] 数字融合(digital inclusion)也被称为电子融合(e-inclusion),或称为数字包容(inclusion 一词,常常被译作包容、融合)、电子包容,常常用来描述消除数字鸿沟的动态过程,通常是指尽力缩减数字鸿沟的努力。来自百度百科。

关于作者:
本杰明·伯曼(Benjamin Berman)是美国旧金山的一名艺术家和开发者。他曾于麻省理工学院从事关于游戏社会影响的研究,现在他在指导一款由社区创作的电子竞技游戏Spellsource。他关于近未来的科幻艺术片《虚拟狂欢,电影应用》(Virtual High, App the Movie)、关于一个数据驱动社会的作品《劳动人民,听一听吧》(Workpop, Hear All Ye People)和关于计算机历史的作品《我兄弟发明了电子邮件吗》(Did My Brother Invent E-Mail)在翠贝卡电影节、迪斯尼频道和《纽约时报》上都有展示。

关于译者:
陈嘉莹,作者,策展人,现为华东师范大学西方哲学在读博士。曾为《艺术论坛》 (Artforum)、《艺术碎片》与 NOWNESS 等媒体撰稿。近期策划的展览和参与的活动包括:“AI:爱与人工智能“,现代汽车文化中心,北京(2020);“哥白尼”,E.M.Bannister 画廊,罗德岛学院,普罗维登斯,美国 (2019);“液态健康“,上海歌德开放空间,上海(2019);“上海策展人实验室”项目,上海大学美术学院,上海(2018);”PSA青策计划2018“,上海当代艺术博物馆,上海(2018);“三亚华宇艺术论坛”,三亚,海南(2016-2017)等。其文章“亲特网内外的后网络艺术”收录于中国美术学院于2018年出版的论文集《网络化的力量》中。参与编写的 Shanghai Contemporary Art Archival Project 1998 - 2012 由 MOUSSE 于2017年出版并发行。chenjiaying.blog
返回页首