搜狐首页 科技 守护丽人

手机搜狐

SOHU.COM

【数据分析】如果我们心存偏见,还能做好数据分析吗?

本文转自品觉(pinjue_ali)

马克·安德森(MarcAndreessen)的一句名言:“软件正在吞噬整个世界。”各行各业发现,分析对保持竞争力至关重要。政府则发现,分析对履行政府义务至关重要。

我们可能会因为和我们拥有相同购买或信用记录的其他人曾经开车不小心,而不是因为我们自己曾经开车不小心,而在购买汽车保险时被收取更高的费用。这就是偏见的本质:假定一个人将像同类的其他人那样行事。

计算领域的一条重要戒律,就是计算机不能改变人类责任。如果人类做某件事情是不合法或不道德的,那么人类创造的计算机程序做这件事情也是不合法或不道德的。但太多的人把计算机程序作为挡箭牌。“我们是在使用计算机分析程序,所以没有关系”,这就是数字版的“我只是按命令行事”。

在以色列电视喜剧《阿拉伯劳工》(Arab Labor)里,阿拉伯人主角沮丧地发现,他经常在检查站被拦下。他问一位以色列朋友,如何避免这种情况。朋友建议他买一辆特定牌子和型号的汽车。阿拉伯人照做了。神奇的是,他开始顺利通过检查站,再也没有受到骚扰。面对预测分析,会有很多人寻找那辆能够让自己度过困境的“好车”。

新闻记者和政策制定者正渐渐意识到一个问题,某些最有前途、最强大的计算工具存在巨大的缺陷。随着预测分析进入越来越多的领域——推送广告;开拓新市场;作出重要决定,比如让谁得到贷款,让谁得到新工作,甚至是把谁送进监狱和暗杀谁这样的伦理道德决定——某些特定群体遭受歧视和偏见的迹象日益增多。

本文着重探讨分析中这种普遍趋势的技术和社会层面。我研究了分析在执行过程中为什么难以做到公平公正,以及这说明分析处于怎样的社会背景。关于这个话题,美国计算机协会(ACM)举办的一场研讨会和我围绕这场研讨会所做的研究为我提供了一些有用见解。

分析无处不在

预测分析似乎证实了马克·安德森(Marc Andreessen)的一句名言:“软件正在吞噬整个世界。”各行各业发现,分析对保持竞争力至关重要。政府则发现,分析对履行政府义务至关重要。这些压力推高了数据科学家(数据科学不只是统计学,但拥有深厚的统计学背景是必要条件)的薪水,并且使得市场调研公司Gartner作出了数据科学家将大量短缺的预测。

分析(更准确地说是模拟)甚至在近期热门电影《萨利机长》(Sully)中扮演了重要角色,但基本上是反派。该片说明了人类社会日益依赖算法的一个最令人不安的方面:身居高位、权力巨大的政策制定者有时会让算法替他们作出判断,而他们根本不明白算法的运行机制和可能造成的后果。在《萨利机长》中,调查员把一条事关重大的错误信息输入系统,还用不切实际的假设情境来训练系统。当这些计算的受害者对模拟背后的假设情境提出质疑时,调查员自鸣得意地说:“我们运行了20次模拟!”他们没有意识到,这20次模拟都是建立在同样的错误假设之上,将会得出同样的错误结论。当受害者要求查看详细的输入数据时,他们打官腔拒绝了这一要求。虽然《萨利机长》可能精心安排了事件背后的一些事实,但对于分析在现代生活中的使用,该片为我们提供了很多经验教训。

精选