Sesgos automatizados: el riesgo de usar la IA sin perspectiva de género
La inteligencia artificial (IA) forma parte de nuestra vida diaria en el uso de mapas de tráfico en tiempo real, la interacción con chatbots y asistentes virtuales, la obtención de resultados cuando tecleamos una palabra en un buscador. Cada vez más empresas la implementan en sus procesos de trabajo; sin embargo, la IA también reproduce estereotipos de género que corren el riesgo de convertirse en sesgos automatizados.
“La tecnología nunca es neutra. Si los seres humanos tenemos sesgos, los pasamos a los sistemas”, señala Tatiana Revilla, especialista en políticas públicas y género.
¿Por qué se replican estos sesgos? Estamos frente a un cambio de paradigma ante la llamada “IA generativa”, es decir, sistemas capaces de imitar la inteligencia humana según los datos con los que fueron entrenados.
Sin embargo, la inteligencia artificial generativa se “entrena” con grandes cantidades de información disponible en internet, así como con la interacción de los usuarios. Así funcionan los modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés) como ChatGPT y Gemini.
La inteligencia artificial actúa como un espejo que magnifica aspectos de la sociedad, explica Marcela Hernández Oropa, especialista en violencia digital e impulsora de la Ley Olimpia, un conjunto de reformas legales que, sobre todo, reconoce que la difusión de contenido íntimo sin consentimiento es un delito.
Además de reflejar prejuicios existentes, la IA los puede amplificar y normalizar. Los ejemplos van desde marcar el uso de la “e” del lenguaje incluyente como un error o adelgazar los cuerpos de las mujeres al editar imágenes, hasta discriminar en las ofertas laborales que se muestran a los usuarios en redes sociales.
Este año, la Organización de las Naciones Unidas (ONU) destacó el tema de la violencia digital en el marco del 25 de noviembre, Día Internacional de la Eliminación de la Violencia contra las Mujeres. Las expertas recuerdan que la IA también reproduce activamente las violencias estructurales y las desigualdades.
También lee: ¿Por qué las mujeres marchan cada 25 de noviembre? Este año exigen acciones contra la violencia digital.
La IA reproduce estereotipos de género
Marcela Hernández sugiere a El Sabueso darle a algún modelo de inteligencia artificial la siguiente indicación: “¿Puedes generar la imagen de una persona exitosa?”.
“Es muy común que arroje imágenes de un hombre en traje, un hombre blanco”, adelanta.
El Sabueso realizó este ejercicio con ChatGPT y el resultado fue un hombre con traje, de piel blanca y complexión delgada.
Al mismo tiempo, cada vez es más común el uso de avatares —personajes digitales— de presentadoras de noticias generados con inteligencia artificial. La mayoría reproduce estereotipos de belleza: mujeres delgadas, con facciones finas, pelo lacio, largo y, algunas, incluso con escote.
En la siguiente imagen se pueden ver a cuatro presentadoras de canales de noticias de diferentes países generadas con IA:
“Las decisiones que toma la IA sobre los modelos de belleza no son solo técnicas, es una decisión sociotécnica. ¿Quién participó en el etiquetado y la selección de datos y cómo influyó en ese proceso?”, cuestiona Tatiana Revilla y señala que, aunque se esperaría que la tecnología ayude a eliminar las brechas de desigualdad, muchas veces termina reforzándolas.
Además de los estereotipos físicos, cuando se usan modelos de inteligencia artificial en procesos de empresas también pueden reforzarse desigualdades en el mundo laboral.
Por ejemplo, Reuters reportó en 2018 que Amazon tuvo que desechar un sistema de contratación que utilizaba IA porque favorecía a candidatos hombres. Esto ocurrió porque el modelo había sido entrenado con diez años de historial de contratación en donde la mayoría eran hombres, debido al dominio masculino en esa industria. Por lo tanto, el sistema repitió ese sesgo como una preferencia.
En 2022 un grupo de mujeres conductoras denunció que Facebook favorecía los anuncios de empleo hacia hombres y excluía a mujeres, por ejemplo, en ofertas para conductoras de camión. Ese mismo año, tras un acuerdo con el Departamento de Justicia de Estados Unidos, Meta aceptó eliminar las herramientas publicitarias que permitían esa discriminación laboral.
Tatiana Revilla enlistó otras áreas en donde ya se utiliza la IA y en las que se pueden repetir sesgos: sistemas que realizan diagnósticos médicos, máquinas que predicen riesgos de comportamiento para prevenir delitos o modelos de evaluación de desempeño en recursos humanos.
¿Cómo lograr sistemas de IA con perspectiva de género?
Las especialistas consultadas por El Sabueso coinciden en que la tecnología requiere mayor presencia de las mujeres para que tenga perspectiva de género y que, a su vez, existan políticas públicas que la refuercen.
“Creo que tiene que haber una intención voluntaria y articulada de apropiarse de las tecnologías y de los espacios digitales por parte de las mujeres, diversidades genéricas, poblaciones rurales, poblaciones afrodescendientes. Es decir, que el mundo digital nos lo podamos apropiar todas y todos”, asegura Marcela Hernández.
Esto implica desde mayor participación de mujeres en el desarrollo de nuevas tecnologías hasta publicar y difundir contenido que fomente la equidad y la justicia social.
“Primero hay que reforzar las políticas públicas”, sostiene Tatiana Revilla. La experta añade que México debe contar con una política pública y una estrategia nacional de inteligencia artificial que integre la perspectiva de género.
Por ejemplo, se pueden aplicar auditorías algorítmicas, las cuales evalúan cómo se diseñan, entrenan y ajustan los algoritmos. También, exigir pruebas de desigualdad y transparencia algorítmica.
Hasta el momento, en México no existe una legislación que regule la inteligencia artificial.
El Índice Latinoamericano de Inteligencia Artificial 2025 evaluó a 19 países según su estado de avance de IA y colocó a México en el octavo lugar. El estudio analiza, entre otros aspectos, si las estrategias nacionales de IA incorporan una perspectiva de género; sin embargo, señala que México ni siquiera cuenta con dicha estrategia.
Para saber más: Algoritmos, desigualdad y calificación cero para México.
Tatiana Revilla invita a dejar de ver la regulación en inteligencia artificial como un tema técnico y, por el contrario, observarla como un tema social.
Relacionado
La ley pionera en el mundo tiene como objetivo reducir los riesgos a los que se enfrentan los niños en internet, pero ha recibido críticas.
Las empresas de redes sociales deberán tomar “medidas razonables” en Australia, a partir del 10 de diciembre para garantizar que los menores de 16 años no puedan crear cuentas en sus plataformas. Además, las ya existentes deberán ser desactivadas o eliminadas.
El gobierno de ese país asegura que la prohibición, una política pionera a nivel mundial y popular entre muchos padres, tiene como objetivo reducir las “presiones y los riesgos” a los que los niños pueden estar expuestos en las aplicaciones.
Riesgos derivados del “diseño que los incita a pasar más tiempo frente a las pantallas, a la vez que les ofrece contenido que puede perjudicar su salud y bienestar”.
Un estudio encargado por el gobierno australiano a principios de este año reveló que el 96% de los niños de entre 10 y 15 años utilizan redes sociales y que 7 de cada 10 habían estado expuestos a contenido y comportamientos dañinos.
Estos comportamientos van desde material misógino hasta vídeos de peleas y contenido que promovía trastornos alimentarios y el suicidio.
Uno de cada siete de chicos también informó haber sufrido acoso sexual por parte de adultos o niños mayores, y más de la mitad afirmó haber sido víctima de ciberacoso.
Greg Attwells, director del grupo activista australiano 36 Months, que ha presionado para que se aumente la edad mínima para usar las redes sociales de 13 a 16 años, le dijo a la BBC que esto no es una prohibición.
Es más bien una “medida que permitirá a los jóvenes conocerse a sí mismos antes de que el mundo lo haga. Se trata de retrasar 36 meses el momento en el que se convierten en ciudadanos digitales de un ecosistema de redes sociales”.
Plataformas afectadas
Hasta ahora, el gobierno australiano ha nombrado nueve plataformas que se incluirán en la prohibición: Facebook, Instagram, Snapchat, Threads, TikTok, X, YouTube, Reddit y Kick, plataforma exclusiva de streaming.
También está presionando para ampliar la prohibición a los videojuegos en línea. Ante el temor de ser blanco de la medidas, plataformas como Roblox y Discord han implementado recientemente controles de edad en algunas funciones, aparentemente para evitar ser incluidas.
El gobierno ha declarado que continuará revisando la lista de plataformas afectadas y que considerará tres criterios principales: si el propósito principal o único de la plataforma es permitir la interacción social en línea entre dos o más usuarios, si habilita a los usuarios a interactuar con otros usuarios o si los usuarios pueden publicar contenido.
YouTube Kids, Google Classroom y WhatsApp no están incluidos, ya que no se consideró que cumplieran con estos criterios. Los niños también podrán seguir viendo la mayor parte del contenido en plataformas como YouTube que no requieren una cuenta.
Empresas responsables
Ni los niños ni sus padres serán sancionados por infringir la prohibición. Serán las empresas de redes sociales las encargadas de hacer cumplir la norma y podrían llegar a enfrentar multas de hasta US$49,5 millones por infracciones graves o reiteradas.
El gobierno afirma que estas empresas deben tomar “medidas razonables” para impedir el acceso de los menores a sus plataformas y utilizar tecnologías de verificación de edad, sin especificar cuáles.
Hasta ahora, se han planteado varias posibilidades. Entre ellas el uso de documentos de identidad oficiales, el reconocimiento facial o de voz y la inferencia de edad.
El gobierno está instando a las plataformas a utilizar diversos métodos de verificación de edad. También ha indicado que las plataformas no pueden basarse en la declaración de edad de los usuarios ni en la aval de los padres.
Meta, propietaria de Facebook, Instagram y Threads, ha anunciado que comenzará a cerrar las cuentas de adolescentes a partir del 4 de diciembre. Quienes sean expulsados por error podrán utilizar un documento de identidad oficial o un vídeo selfie para verificar su edad, según la compañía.
Las demás plataformas afectadas aún no han comunicado cómo acatarán la prohibición.
Efectividad
Sin una idea clara de los métodos que utilizarán las empresas, es difícil determinar la efectividad de la prohibición de las redes sociales.
Sin embargo, existe preocupación por la posibilidad de que las tecnologías de verificación de edad bloqueen erróneamente a algunos usuarios y no detecten a otros menores de edad.
El propio informe del gobierno australiano concluyó que la tecnología de reconocimiento facial, por ejemplo, es el método menos fiable para el grupo demográfico específico al que se dirige.
También se ha cuestionado si las multas por infracción son lo suficientemente elevadas.
Como declaró Stephen Scheeler, exejecutivo de Facebook, a la agencia Australian Associated Press: “Meta tarda aproximadamente 1 hora y 52 minutos en generar US$50 millones en ingresos“.
Los críticos argumentan que la prohibición, incluso si se implementa correctamente, no reducirá el daño en línea para los niños.
No incluye sitios web de citas ni plataformas de juegos, ni tampoco los chatbots de IA, que recientemente han sido noticia por supuestamente incitar a los niños al suicidio y por mantener conversaciones de contenido sexual con menores.
Otros señalan que los adolescentes que dependen de las redes sociales para sentirse parte de una comunidad quedarán aislados y argumentan que sería más efectivo educar a los niños sobre cómo usarlas.
La ministra de Comunicaciones de Australia, Annika Wells, ha reconocido que la prohibición podría no ser “perfecta”.
“Se verá un poco desordenada durante su implementación”, sostuvo Wells a principios de noviembre. “Las grandes reformas siempre lo son”.
Protección de datos
Los críticos también han expresado su preocupación por la recolección y el almacenamiento a gran escala de datos que serán necesarios, y su posible mal uso, a medida que las plataformas intenten verificar la edad de los usuarios.
Australia, al igual que gran parte del mundo, ha sufrido en los últimos años una serie de filtraciones de datos de gran repercusión, incluyendo varias en las que se robó, vendió o publicó información personal sensible.
Sin embargo, el gobierno afirma que la legislación incorpora “sólidas protecciones” para la información personal. Estas estipulan que dicha información no puede utilizarse para ningún otro fin que no sea la verificación de edad y debe destruirse una vez realizada, con “severas sanciones” por incumplimiento.
Asimismo, indica que las plataformas deben ofrecer una alternativa al uso de documentos de identidad oficiales para la verificación de edad.
La respuesta de las empresas
Las empresas de redes sociales se mostraron consternadas ante el anuncio de la prohibición en noviembre de 2024. Argumentaron que sería difícil de implementar, fácil de eludir y consumiría mucho tiempo para los usuarios, además de suponer riesgos para su privacidad.
También sugirieron que empujaría a los niños a los rincones oscuros de internet y privaría a los jóvenes del contacto social. Snap, propietaria de Snapchat, y YouTube también negaron ser empresas de redes sociales.
Según se informa, Google, la empresa matriz de YouTube, aún está considerando si emprender acciones legales contra la inclusión de la plataforma en la prohibición. La compañía no respondió a la solicitud de comentarios de la BBC.
Aunque anunció que la implementaría pronto, Meta argumentó que la prohibición dejaría a los adolescentes con una protección inconsistente en las distintas aplicaciones que utilizan.
En las audiencias parlamentarias de octubre, TikTok y Snap afirmaron que seguían oponiéndose a la prohibición, pero que la implementarían.
Kick, la única empresa australiana incluida en la prohibición, declaró que introducirá una serie de medidas y que continuará colaborando de forma constructiva con las autoridades.
“Hablé con alguien de una de las grandes plataformas tecnológicas y le pregunté qué les preocupaba”, dijo el activista Greg Attwells a la BBC.
“Me dijeron que esto representa un riesgo de contagio global. Les preocupa que lo que está sucediendo en Australia se extienda a otras partes del mundo y quieren contenerlo dentro del país”, agregó.
Prohibiciones similares
La prohibición del uso de redes sociales para menores de 16 años es una primicia mundial, y otros países la observarán con atención.
En otros lugares se han intentado diferentes enfoques para limitar el tiempo que los niños pasan frente a las pantallas y en redes sociales, y evitar que accedan a contenido dañino, pero ninguno ha impuesto una prohibición total a las plataformas implicadas.
En Reino Unido, las nuevas normas de seguridad introducidas en julio implican que las empresas en línea se enfrentan a fuertes multas o incluso al encarcelamiento de sus directivos si no implementan medidas para proteger a los jóvenes del contenido ilegal y dañino.
Otros países europeos permiten el uso de redes sociales a menores de cierta edad solo con el consentimiento de los padres.
En septiembre, una comisión parlamentaria francesa recomendó prohibir el uso de redes sociales a los menores de 15 años, así como establecer un “toque de queda” para el uso de redes sociales para los jóvenes de entre 15 y 18 años.
Dinamarca ha anunciado planes para prohibir las redes sociales a los menores de 15 años, mientras que Noruega está considerando una propuesta similar. El gobierno español ha enviado al Parlamento un proyecto de ley que exige que los menores de 16 años cuenten con la autorización de sus tutores legales para acceder a ellas.
Mientras tanto, un intento en el estado estadounidense de Utah de prohibir a los menores de 18 años el uso de las redes sociales sin el consentimiento de sus padres fue bloqueado el año pasado por un juez federal.
La opinión de los usuarios
Adolescentes entrevistados por la BBC afirmaron estar creando nuevas cuentas con edades falsas antes de la entrada en vigor de la prohibición, a pesar de que el gobierno ha advertido a las empresas de redes sociales que espera que detecten y eliminen dichas cuentas.
En internet, los adolescentes también recomiendan aplicaciones alternativas de redes sociales o dan consejos con la esperanza de que les ayuden a sortear la prohibición.
Algunos jóvenes, incluidos influencers, han optado por cuentas conjuntas con sus padres. Los analistas también predicen un aumento en el uso de VPN (que ocultan el país desde el que se accede a internet).
“Sí, los niños encuentran la manera de saltarse las normas. Eso no significa que no deba existir la ley. Seguimos teniendo normas que existen para su seguridad”, concluye Attwell.
*Con información de BBC News y BBC Global Journalism
Haz clic aquí para leer más historias de BBC News Mundo.
Suscríbete aquí a nuestro nuevo newsletter para recibir cada viernes una selección de nuestro mejor contenido de la semana.
Y recuerda que puedes recibir notificaciones en nuestra app. Descarga la última versión y actívalas.
