日前,外媒Motherboard做了一篇有关Proctorio的报道。Proctorio是一款旨在防止学生在考试时作弊的考试监控软件。然而这款软件使用的开源软件一直存在种族偏见问题。这一问题由一名学生发现,他发现软件是如何进行面部检测的并且发现它在一半以上的时间里无法识别黑人面孔。
Proctorio跟其他类似的程序一样,是被设计用来在学生考试时监视他们的。然而,许多有色人种的学生报告称,他们在让软件看到他们的脸方面存在问题。这可能会给学生带来潜在的问题:如果检测不到他们的脸,那么Proctorio就会把他们标记给老师。
听到这些传闻后,Motherboard的Akash Satheesan决定研究一下软件使用的面部检测方法。结果他发现它在外观和操作上跟OpenCV是一样的,后者是一款开源的计算机视觉程序,可用来识别人脸(该程序过去也有种族偏见的问题)。在了解到这一点后,他使用OpenCV和一个数据集进行测试,该数据集旨在验证机器视觉算法处理不同面孔的能力。根据他的研究,结果并不好。
该软件不仅在一半以上的时间里识别不出黑人面孔,并且在识别任何种族的面孔方面都不是特别擅长--最高的识别率低于75%。在报告中,Motherboard联系了一位安全研究员,后者证实了Satheesan的结果和分析。Proctorio也在其许可页面上证实了它使用OpenCV,但没有详细说明如何使用。
Proctorio的发言人在提供给Motherboard的一份声明中表示,Satheesan的测试证明,该软件只能检测人脸,但无法识别与之相关的身份。
这已经不是Proctorio第一次因为认不出不同的面孔而受到指责了:此前有一所大学称,Proctorio未能跟该公司续约的原因是它给有色人种学生造成的问题。美参议员Richard Blumenthal甚至在谈到监管软件的偏见时点名批评了该公司。
虽然代码中的种族偏见并不是什么新鲜事,但看到它影响到那些只是努力完成学业的学生尤其是在远程学习成为一些人唯一选择的这一年,这显然会让人感到特别痛苦。