Los algoritmos prometían eficiencia. Pero han agravado la desigualdad

«Estaba arriba tratando de conseguir [the website] para cargar y mi mamá estaba abajo haciendo lo mismo «, le dijo a CNN». La abrió y gritó. Y me rechazaron.

«No me sentía bien», agregó Philip. «Sí, estaba bastante molesto por eso. Pero todas las personas con las que he estado han estado en una situación similar».

El modelo le dio a Philip una calificación de B y 2 Cs. El adolescente no estaba solo; Casi el 40% de las calificaciones escolares en Inglaterra se han rebajado de las calificaciones previstas por los maestros, y los estudiantes de las escuelas financiadas por el gobierno se han visto más afectados por el sistema que sus contrapartes en las escuelas privadas. Muchos más tarde perdieron su lugar en la universidad.

Se produjeron disturbios y algunos adolescentes protestaron frente al Departamento de Educación del Reino Unido. Los videos de las protestas estudiantiles se generalizaron en línea, incluidos los de adolescentes cantando «¡F ** k el algoritmo!»

Después de varios días de titulares negativos, el secretario de Educación, Gavin Williamson, anunció que en lugar de las calificaciones otorgadas por el modelo, los estudiantes recibirían las calificaciones previstas de los maestros.

El algoritmo elegido debe garantizar la equidad al garantizar que la distribución de calificaciones para la cohorte de 2020 siga el patrón de años anteriores con un número similar de calificaciones buenas y bajas. Se basó en las calificaciones pronosticadas por el maestro y en las clasificaciones de los alumnos y maestros para determinar las calificaciones. Pero también fue crucial el desempeño histórico de las escuelas, que benefició a los estudiantes de orígenes más ricos.

Escuelas privadas en Inglaterra, Las tarifas para padres generalmente cobran clases más pequeñas con calificaciones que el modelo no puede estandarizar fácilmente. El algoritmo dio más peso a las calificaciones pronosticadas por los maestros para estas cohortes, que a menudo son más ricas y más blancas que sus contrapartes degradadas en las escuelas estatales.

«Una de las complejidades que tenemos es que hay muchas formas en que un algoritmo puede ser justo», dijo Helena Webb, investigadora principal del Departamento de Ciencias de la Computación de la Universidad de Oxford.

«Puede ver un argumento donde [the government] dijo [it] quería obtener resultados similares a los del año pasado. Y a nivel nacional, esto podría argumentarse como [being] Justa. Pero lo que era justo para el individuo falta por completo.

«Obviamente, este algoritmo refleja y refleja lo que ha sucedido en los últimos años», agregó. «Bueno, no [reflect] el hecho de que las escuelas [improve.] Y, por supuesto, eso tendrá peores efectos en las escuelas públicas que en las escuelas privadas muy conocidas con calificaciones consistentemente más altas. «

«Lo que me hizo enojar es la forma [they] trataron las escuelas públicas «, dijo Josh Wicks, de 18 años, un estudiante de Chippenham, Wiltshire, Inglaterra Occidental. Sus calificaciones bajaron de 2 A * y A a 3 As.

«El algoritmo pensó que si la escuela no hubiera alcanzado [high grades] Al frente, [pupils] No pude conseguirlo ahora «, le dijo a CNN». Creo que es condescendiente. «

Debido a la tormenta política, los ministros de la administración de Boris Johnson han buscado explicaciones después de fuertes críticas al tratamiento de la pandemia de coronavirus. Covid-19 ha matado a más de 41.000 personas en el Reino Unido, lo que lo convierte en el país más afectado de Europa.

¿Por qué se acusa a algunos algoritmos de sesgo?

Los algoritmos se utilizan en todas las partes de la sociedad en estos días, desde las redes sociales y los sistemas de solicitud de visa hasta la tecnología de reconocimiento facial y las calificaciones de los exámenes.

La tecnología puede ser liberadora por dinero en efectivo– –Gobiernos ceñidos y para empresas que persiguen la innovación. Sin embargo, los expertos advierten desde hace mucho tiempo sobre la existencia de sesgos algorítmicos y, con la proliferación de procesos automatizados, también se están difundiendo las denuncias de discriminación.

«La graduación de la escuela secundaria es la punta del iceberg», dijo Cori Crider, cofundador de Foxglove, una organización que cuestiona el supuesto abuso de la tecnología digital. Crider le dijo a CNN que los algoritmos replicaron las distorsiones encontradas en los datos sin procesar utilizados.

Sin embargo, Crider advirtió contra el impulso de atribuir problemas puramente políticos a la tecnología.

«Cualquiera que le diga que es un problema técnico [lying],» Ella dijo.

«Que pasó [with the exams] es que se ha tomado una decisión política para minimizar la tasa de inflación. Es una decisión política, no técnica. «

Foxglove afirmó que el sistema de detección sufría un circuito de retroalimentación «en el que el sesgo y la discriminación pasados ​​inyectados en un programa de computadora amplifican el sesgo y la discriminación futuros».

«Hemos revisado el funcionamiento de la herramienta de transmisión para las solicitudes de visa y rediseñaremos nuestros procesos para hacerlos aún más racionales y seguros», dijo a CNN un portavoz del Ministerio del Interior del Reino Unido.

«Sin embargo, no aceptamos las acusaciones hechas por el Consejo Conjunto para el Bienestar de los Inmigrantes en su petición de revisión judicial, y mientras el litigio está en curso, no sería apropiado que el departamento hiciera más comentarios».

Crider dijo que los problemas que Foxglove encontró con datos previos que conducían a algoritmos sesgados eran obvios en otra parte se hace referencia al debate sobre los programas policiales predictivos en los Estados Unidos.

«Tenemos tecnología que podría estar dirigida a personas de color en nuestra comunidad, no necesitamos esa tecnología», dijo el alcalde Justin Cummings a Reuters en junio.

«Parte del problema es con los datos que se ingresan», dijo Crider.

«Los datos históricos se introducen [to algorithms] y replican eso [existing] parcialidad. «

Webb está de acuerdo. «Mucho [the issue] se trata de los datos de los que aprende el algoritmo «, dijo». Por ejemplo, salió mucha tecnología de reconocimiento facial … el problema es, mucha [those] Los sistemas han sido entrenados en muchos rostros masculinos blancos.

«Cuando se usa el software, es muy bueno para reconocer a los hombres blancos, pero no tanto para reconocer a las mujeres y a las personas con color. Y eso proviene de los datos y de la forma en que los datos están en el Se ha introducido el algoritmo «.

Webb agregó que creía que los problemas podrían aliviarse, en parte, «aumentando la consideración de la inclusión en los conjuntos de datos» y la necesidad de agregar una mayor «diversidad de voces» al desarrollar algoritmos.

¿Mayor regulación?

Activistas y expertos le dijeron a CNN que esperaban que los recientes debates sobre algoritmos condujeran a un mejor control de la tecnología.

«Existe una falta de control gubernamental sobre cómo se utilizan estos sistemas», dijo Webb, y agregó que las empresas también podrían optar por autorregularse.

Alguna cosa Compañías son claramente más ruidosos en esta cuestión.

Facebook, que posee Instagram, creó posteriormente nuevos equipos para verificar el sesgo en los sistemas corporativos.

«Me gustaría un soborno democrático [the use of algorithms]»Dijo Crider.» ¿Hay áreas de la vida pública en las que no es nada aceptable tener estos sistemas? «

A medida que el debate continúa en las salas de juntas y en el mundo académico, estos sistemas automatizados continúan determinando la vida de las personas de muchas y sutiles formas.

Para Philip, la abolición del algoritmo de prueba por parte del gobierno del Reino Unido lo mantuvo en suspenso.

«Le enviamos a Exeter un correo electrónico [University] y por teléfono y están en una especie de caos «, dijo, y agregó que estaba Esperaba que pudiera recuperar su lugar. «Creo que lo pospondré ahora de todos modos».

Dijo que estaba agradecido de tener las calificaciones previstas, pero dijo que la experiencia fue «bastante mala».

«»[The government] «Tuve meses para arreglar eso», dijo. Entiendo que están sucediendo muchas cosas con el material de salud, sin embargo […] Es un espectáculo bastante malo. «