昨年9月，一种名叫克林·麦德兰 (Colin Madland) 的白人，在推特上发表了一张与黑人同事视频通话的截屏。他本来不过想揭发相干视频会议软件Zoom的一种难题——在某种形式下，该软件算法没有办法辩别麦德兰的黑人同事，并擅自将其“斩首”了。Zoom将麦德兰的黑人同事“斩首”了麦德兰没料到的是，当他截屏上传推特以后，在推特的电话端上，黑人同事直接“消失”了，相片仅仅剩下身为白人的他本人。截屏上传推特以后，麦德兰的黑人同事“消失”了推特用算法在推特的电话端自动裁剪相片是常规操作，目的在于防止过大相片在寸土寸金的电话端占用太多页面体积，同一时间将以户的注意力聚集到相片最要紧的部分。对于麦德兰的相片，算法仿佛做出了这样的判断——相关于黑人，白人是更要紧的那一部分。麦德兰的推文很快引爆了网站狂欢。网友们前仆后继、看热闹不嫌事大地对推特的相片裁剪算法发展了各式明暗要求下的来回测试，测试相片一度拉伸到猫猫狗狗和毛绒玩具，直到某网友锤下棺材板上的最终一根钉子——在来回上传白人参议员米奇·麦康奈尔（Mitch McConnell）和黑人前总统奥巴马（Barack Obama）的照片后，该网友发觉推特算法会在电话端不停裁剪掉奥巴马，而把麦康奈尔放到相片中央。换句话说，推特的算法，犯了和ZOOM一样的瑕疵：种族歧视。这点年，被网友集体抓包的网站平台不在少数。例如著名的google。2015年，程序员阿尔西内（Jacky Alciné）将本人与友人的合影上传到google照片，讵料黑人友人竟被标注为“大猩猩”。今后，热心网友竞相“调戏”对google照片的脑残标签，直到2018年，google“一劳永逸”地封禁了“大猩猩”、“黑猩猩”或者“猴子”的标签。再如美国第一大的评论网络Yelp。2017年，一群小公司主在对Yelp算法发展来回测试后发觉，关于不运用该平台广告效劳的公司，算法常常给出较轻评分。被戳穿后，Yelp不得不对其算法发展了调度。又如酒店预订平台缤客（booking.com）。2019年，大批使用者发觉缤客对某酒店的概括评分与它们给出的分数显著不符，发觉难题后，它们结合起来，经过来回测试，声明了平台算法会在不透明的概况下降高某些低评分。在最近的一篇论文里，咱和合作者们把平台使用者的这种“抓包”举止称为“平常生活里的算法审计”（everyday algorithm auditing）——平日里，源于算法的算计而受困此中的使用者们，正好结合起来，经过集体智慧，对算法发展“反向剖析”。也便是说，平台们看似全知都能、没有远弗届，但关于算法与人的真正互动及其结果，他们在相当大水平上是没有办法事先知晓的。正如推特的公关团队在“裁图事故”后解释的那样，“在模子发表前，咱们的团队发展了来回测试，并未发觉种族或性别歧视的相干证据。但这点案例表达，咱们另有更多的剖析要做。”各大平台可行聘用高级机器学习行家和软件测试工程师，在算法上线前，对可能显露的漏洞发展检验，但即使是这点行家也永远没有办法预测，算法在与真正全球里的真正人生互动以后会产生甚么。本来早在1996年，在现代人力智能和机器学习体系大范围显露此前，巴特亚·弗里德曼（Batya Friedman）和海伦·尼森鲍姆（Helen Nissenbaum）就在它们那篇著名的短文《计算机体系里的偏见》（Bias in Computer Systems）里，就计算机体系里的“偏见”发展了分类：一类是由社会历史原因形成的“预存偏见”（pre-existing bias）。例如，性别和种族歧视可能会在算法里持续显示。一类是由那时本地技艺节制等原因形成的“技艺偏见”（technical bias)。例如，在1990年代，一个用以随机筛选稀缺药物接纳者的算法可能会体系性地倾向数据库终端的病人。另有一类是那一些唯有在与人类使用者互动和平常运用的情境里展现出去的“突现偏见”（emergent bias）。例如，微软当年的人力智能聊天机器人Tay，与网友在推特上聊了不到24小时，就被“调教”成了一种“种族主义者”。这也是为何发觉这点“突现偏见”的，常常非是平台巨资聘请的工程师、律师和第三方审计人士，却是那一些日日夜夜受困在算法里的大家——是真正生活里的真正人类在平常生活里对算法发展了千万次的测试，以肉身为道场，才把算法的漏洞暴露出去，钉上耻辱柱。这是咱们对算法的平常抵抗。1985年，耶鲁大学政治学和人类学教授詹姆斯·C·斯科特（James C. Scott）出版了名作《弱者的武器：农民反抗的平常方式》（Weapons of the Weak: Everyday Forms of Peasant Resistance）。这本书鉴于1970年代末他在马来西亚村庄塞达卡（Sedaka）所做的田野考查。斯科特发觉，自1970年代导入双耕制以后，马来西亚农村的贫富差距加重，农民们的不满与日俱增，可奇怪的是，那边却很少产生有组织的、公布的抵抗。从惯例政治学的方位来看，马来农民缺乏政治意识和自觉，也鲜少有意义的政治行动。但作为人类学家，斯科特却察觉到一个不曾被书写的、不一样的“抵抗”：农民们在平常生活里，以本人特异的形式对构造性的不平等发展着“消耗战”，尽管看似微不足道，却也一丝一滴地销蚀着凌驾在它们头上的统治机构。这点平常方式的反抗，咱们或许再熟悉只是了——偷懒、怠工、装糊涂、开小差，跟此刻盛行的的“躺平”“带薪蹲坑” “平常摸鱼”可谓异曲同工，一脉相承。而这点，斯科特称之为“弱者的武器”（weapons of the weak）。斯科特的立场，在80年代以后遭到了众多批评——假如平常方式的抵抗没有办法激发构造层次的改变，而仅仅滞留在生活外表，那末这点“偷懒、怠工、装糊涂、开小差”到底有多少意义呢？这切实不好说。可行确定的不过，这点平常方式的抵抗至少表达私人和公众其实不十足臣服于这点支配性的社会构造。在人力智能的时期，在算法统治一切的全球里，这点平常抵抗包括使用者们私人生活里的小动作和不匹配——例如故意敲击没有关内容给介绍算法捣乱；在社交媒体上合力揪出算法的漏洞——例如，像本文开头那个例子，大伙经过集体协作一同检验声明算法“种族歧视”，等等。这点小打小闹不停给占据支配位置的算法生产麻烦，并提醒咱们：算法其实不像咱们所想象的那样没有所不知、没有所不行。即便渺小如咱们，在某些时候，也有反制算法的可能。与此同一时间，另一个对算法的平常抵抗正好浮现。昨年7月，阿明·萨米（Armin Samii) 曾经为“优步送餐” 事业了几个星期。在美国，“优步送餐”好多时刻是由骑手骑行送达的。这一单，萨米接下的是算法估算为20分钟左右、1英里的事业。可实是上，送餐app却将他带上了匹兹堡最陡峭的山坡之一，在地图上看来是1英里的直线里程，实质耗费了4 英里的骑行。终归依照算法的逻辑，“优步送餐” 仅仅支付了他1英里的费率。还不错萨米是一名软件工程师。在发觉优步算法的难题以后，他组建了google浏览器的扩展程序“优步骗人” （UberCheats），帮助外卖骑手们收集算法“克扣”薪酬的证据。萨米们想要追诉的权利。另有少许困在算法里的人将它们的诉求告上法庭。依据欧盟的通用数据庇护条例 (GDPR)， 一群英国优步驾驶员在阿姆斯特丹起诉了这家叫车企业。驾驶员们显示，经过集体诉讼，它们得到了存储于平台之上的全部对于它们的私人数据，它们想晓得，优步的评价体制是如何经过这点数据来给它们打分的。驾驶员们想要知情的权利。36年前，斯科特在他那本激发庞大争议的书里说：“平常方式的抵抗不会成为头条新闻……(然则）正如数以百万计的珊瑚虫生产出珊瑚礁一样，数以万计的个体不服从和逃避的举止也缔造了本人的政治或经济堡礁。”“Everyday forms of resistance make no headlines. Just as millions of anthozoan polyps create, willy-nilly, a coral reef, so do thousands upon thousands of individual acts of insubordination and evasion create a political or economic barrier reef of their own.”不高估算法的魔力，不低估本人的力量。或许，最终能够抗衡算法的，正是咱们这点困在算法里的人。参考材料：【1】Khristopher J Brooks. 2020. Twitter users say the platform crops out Black faces. https://www.cbsnews.com/news/ twitter-image-cropping-algorithm-racial-profiling【2】Motahhare Eslami, Kristen Vaccaro, Karrie Karahalios, and Kevin Hamilton. 2017. “Be careful; things can be worse than they appear”: Understanding Biased Algorithms and Users’ Behavior around Them in Rating Platforms. In Proceedings of the International AAAI Conference on Web and Social Media, Vol. 11.【3】Motahhare Eslami, Kristen Vaccaro, Min Kyung Lee, Amit Elazari Bar On, Eric Gilbert, and Karrie Karahalios. 2019. User attitudes towards algorithmic opacity and transparency in online reviewing platforms. In Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. 1–14.【4】Shen, Hong, Alicia DeVos, Motahhare Eslami, and Kenneth Holstein. 2021. "Everyday algorithm auditing: Understanding the power of everyday users in surfacing harmful algorithmic behaviors." arXiv preprint arXiv:2105.02980.【5】Friedman, Batya, and Helen Nissenbaum. Bias in computer systems. Routledge, 2017.【6】Scott, James C. 1985. Weapons of the weak: Everyday forms of peasant resistance. Yale University Press.【7】Aarian Marshall. 2021. Gig Workers Gather Their Own Data to Check the Algorithm’s Math. Wired. https://www.wired.com/story/gig-workers-gather-data-check-algorithm-math/-----作者沈虹，毕业于美国伊利诺伊大学香槟分校流传学系，现任职于美国卡内基梅隆大学。她用社会学的方法探讨新兴科技。 |
|全球新闻在线
( 闽ICP备2022018685号-2 )
