站长之家 - 业界 2021-04-11 09:41

研究员证实监考软件Proctorio在使用种族主义算法来检测人脸

据外媒报道,有色人种学生长期以来一直抱怨,Proctorio和其他考试监督公司使用的面部检测算法无法识别他们的面孔,这使得他们很难甚至不可能参加高风险考试。现在,一名软件研究员指出,他可以证明Proctorio软件使用的面部检测模型在超50%的情况下无法识别黑人面孔。据悉,他碰巧也是使用Proctorio的一所学校的大学生。

研究人员Akash Satheesan告诉Motherboard:“我之所以决定调查这件事,是因为(Proctorio)声称其只听说过‘不到5起’的该类型案例--由种族原因导致的面部识别问题。然而从轶事中我知道这是不可能的……于是我开始寻找一些更确凿的证据,我想我已经相当肯定找到了。”

Satheesan最近在一系列博客文章中发表了他的发现。在这些文章中,他描述了他是如何分析Proctorio Chrome浏览器扩展背后的代码,并发现跟该工具面部检测功能相关的文件名与OpenCV发布的文件名相同。据悉,OpenCV是一个开放源代码的计算机视觉软件库。

Satheesan在向Motherboard演示了Proctorio工具中嵌入的人脸检测算法在同一组人脸上进行测试时跟OpenCV模型的表现完全相同。Motherboard还咨询了一位安全研究员,后者也验证了Satheesan的发现并能重现他的分析。

Proctorio则在其网站上宣称,公司使用的是“专有的面部检测”技术。另外它还表示,其是在使用OpenCV的产品,但没有说明具体使用的产品或用于什么。当Motherboard询问该公司是否使用OpenCV的模型进行面部识别时,Proctorio的发言人Meredith Shadle并没有直接回答。相反,她发送了一个链接到Proctorio的许可证页面,其中包括OpenCV的许可证。

Shadle在给Motherboard的邮件中写道:“虽然公开的报告没有完全准确地描述我们的技术是如何工作的,但我们很感激分析证实了Proctorio使用了人脸检测(而非人脸识别)。”

Proctorio也没有回答关于该技术的几个问题,包括该公司是否对OpenCV模型进行了微调以便在其软件中使用。

而基于OpenCV构建的面部识别和检测软件此前被发现存在偏差。

Satheesan将这些模型跟FairFaces数据集中包含近1.1万张人脸的图像进行了测试。FairFaces数据集是一个包含代表多个种族和种族的有标签的图像库。

结果在57%的情况下,这些模型无法识别出被标记为包括黑人面孔的图像。其中一些失败非常明显:算法检测到了白人的脸,但没有检测到出现在同一个画面的黑人的脸。

两个女人站在一起面带微笑。左边的白人女性脸上有一个蓝色的方框(意味被检测到),而右边的黑人女性没有(意味没有被检测到)。

其他组的通过率要好一些,但仍远未达到先进水平。Satheesan测试的模特在包含有41%中东人面孔、40%白人面孔、37%东亚人面孔、35%东南亚或印度人面孔和33%拉丁人面孔的照片中都未能识别出人脸。

黑人学生描述了Proctorioi糟糕的面部检测系统是多么得令人沮丧和焦虑。他们当中一些人指出,每次他们参加测试,软件都不能识别他们。另一些人则担心,如果他们离开了完美的照明环境,测试将会突然关闭并将他们拒之门外。

Satheesan表示,他的发现有助于证明监考软件的根本缺陷:这些工具表面上是为教育目的而设计的,实际上却破坏了教育--尤其是对已经处于劣势的学生。

推荐关键词

24小时热搜

查看更多内容

大家正在看