Ciscunstancias de entrenamento
Durante a pandemia de 2020, o departamento de Educación de Gran Bretaña deixou en mans dun algoritmo as cualificacións do alumnado; as notas descenderon case un 40% de media e os medios publicaron que se prexudicou en especial ao alumnado de contornas máis desfavorecidas. Tras unha enorme polémica, os resultados foron anulados. Anteriorment, Amazon empregou ata 2018 un sistema de contratación que favorecía aos candidatos masculinos; ese sistema adestrouse con currículos anteriores, a maioría dos cales eran de homes, polo que aprendeu a favorecer os candidatos masculinos, o que implicou que mulleres cualificadas nin sequera tivesen a oportunidade dunha entrevista.
Estes dous casos, entre moitos, amosan como debemos permanecer en alerta ante as consecuencias das cadeas de decisión automatizadas. No desenvolvemento da IA, numerosas noticias advertíronnos sobre resultados desviados, sorprendentes, afastados da verdade histórica ou maliciosos e as súas consecuencias na nosa realidade cotiá. Esta dimensión menos luminosa convive coas posibilidades máis fascinantes que se abren co impulso da IA xerativa nos últimos anos.
Dos produtos e resultados que obtemos das IA xerativas, convén distinguir entre erros, prexuízos e estereotipos, ademais dun fenómeno de erro non motivado e sorprendente que nos causa abraio e que comunmente chamamos alucinacións. Examinaremos estes apartados:
- Erros na IA: Explícanse como fallos na interpretación ou resposta, con exemplos como un chatbot que dá respostas equivocadas ou un automóbil autónomo que non detecta peóns, debido a limitacións técnicas ou deseño inadecuado.
- Prexuízos na IA: Descríbense como inclinacións nos datos de adestramento que afectan as decisións, cun exemplo claro: unha IA adestrada con datos onde a maioría dos médicos son homes podería asumir que todos os médicos son homes, dificultando o recoñecemento das doutoras.
- Estereotipos na IA: Defínense como xeneralizacións culturais, como asociar personalidades concretas ou roles específicos con colectivos perpetuadas por datos textuais non filtrados.
- Alucinación na IA: Fenómeno no que un sistema de intelixencia artificial xera información falsa, incoherente ou sen base real, presentándoa como verídica. Estas alucinacións poden producirse por limitacións nos datos de adestramento, erros na modelización ou deficiencias na interpretación do contexto.
Erros
Un erro nunha intelixencia artificial (IA) xorde cando, debido a limitacións técnicas ou a defectos no seu deseño, o sistema interpreta de xeito incorrecto unha consulta ou xera respostas sen lóxica aparente. Estes fallos son especialmente evidentes en situacións que requiren unha comprensión contextual profunda ou a capacidade de discernir ambigüidades. Por exemplo, un asistente virtual adestrado principalmente con datos estruturados podería ter dificultades para procesar preguntas con múltiples intencións ou linguaxe coloquial, levando a resultados confusos ou contraditorios. Aínda que estes erros non son intencionados, reflexan a complexidade de replicar o razoamento humano en máquinas.
Ademais, os erros técnicos poden agravarse en sistemas que operan en tempo real ou con fontes de datos dinámicas, como as IA empregadas en diagnóstico médico ou xestión de emerxencias. Un fallo no procesamento de sinais vitais ou na interpretación de protocolos de seguridade podería ter consecuencias graves, mesmo en escenarios ben delimitados. Por iso, a monitorización constante e a actualización dos modelos son esenciais para minimizar riscos e garantir que as IA se adapten a novos desafíos sen comprometer a súa eficacia.
Prexuízos
Os prexuízos nas IA son distorsións sistemáticas que se herdan dos datos de adestramento, reproducindo información deficiente derivados de nesgos históricos ou culturais. Estes non só se limitan a cuestións de xénero; tamén poden reflectir desigualdades étnicas, socioeconómicas ou xeográficas. Por exemplo, un algoritmo de selección de persoal adestrado con datos de empresas onde predominan certos grupos demográficos podería descualificar candidatos competentes por motivos non relacionados coas súas habilidades, como o dialecto ou a orixe. A invisibilidade destes sesgos fai que sexan especialmente perigosos, xa que se normalizan baixo a aparencia de obxectividade algorítmica.
Máis alá do ámbito laboral, os sesgos poden influír en aplicacións críticas como a xustiza predictiva ou a concesión de créditos. Se un sistema se adestra con datos que reflecten prácticas discriminatórias, como sentencias máis duras para determinadas comunidades, a IA perpetuará esas inxustizas baixo a falsa premisa da neutralidade tecnolóxica. Combatelos require non só diversificar as fontes de datos, senón tamén incorporar perspectivas éticas no deseño e validación dos modelos, asegurando que a tecnología non amplifique as desigualdades existentes.
Estereotipos
Os estereotipos nas IA son simplificacións que reducen realidades complexas a categorías ríxidas e, frecuentemente, desactualizadas. Estas xeneralizacións, alimentadas por datos históricos ou culturais, reforzan roles sociais daniños. Por exemplo, un sistema de xeración de imaxes que asocie sempre "científico" con homes de etnia branca ou "traballador doméstico" con mulleres latinoamericanas non só limita a representación, senón que invisibiliza a diversidade real destas profesións. O impacto é especialmente notable en ferramentas educativas, onde os estereotipos poden influír na autopercepción e aspiracións de nenos e adolescentes.
Ademais, os estereotipos non se limitan a cuestións de xénero ou profesións. Poden manifestarse en asociacións lingüísticas, como vincular certos acentos ou dialectos a niveis de educación inferior, ou en recomendacións de contido que reflictan prexuízos culturais. Para combater isto, é necesario incorporar datos interseccionais e promover a participación de equipos diversos no desenvolvemento destas tecnoloxías, asegurando que as IA non repliquen visións reducionistas da sociedade.
Alucinacións
As alucinacións das IA son respostas plausibles en forma pero falsas en fondo, xeradas a partir de correlacións estatísticas sen comprensión real do contido. Un exemplo flagrante sería un modelo lingüístico que asegure que Galicia é un país tropical con praias de area rosa, combinando elementos reais (como a referencia a praias) con invencións fantasiosas. Este fenómeno é inherente ás arquitecturas baseadas en probabilidades, onde a fluidez do texto priorízase sobre a exactitude, especialmente en temas pouco representados nos datos de adestramento.
Estes erros inventados son particularmente problemáticos en contextos que demandan rigor, como a divulgación científica ou o asesoramento legal. Un chatbot médico podería recomendar "terapias" baseadas en estudos inexistentes, ou un sistema xurídico automático citar leis fantasmas con artigos convincentes pero ficticios. A solución non é simple: require mellorar a transparencia dos modelos, implementar sistemas de verificación en tempo real e educar aos usuarios sobre as limitacións destas ferramentas, evitando que se interprete a elocuencia como indicio de fiabilidade.
Alucinacions
A presenza desas disfuncións nos resultados da intelixencia artificial (IA) demostra a necesidade de manter unha actitude crítica fronte aos seus produtos. Aínda que moitas IAs inclúen mensaxes explícitas advertindo que poden cometer erros, as persoas tendemos a confiar en exceso nas súas respostas. A investigación en psicoloxía e ética tecnolóxica identificou, ademais, diversas consecuencias negativas derivadas da nosa relación con estas tecnoloxías.
Atribución de autoridade
Un dos efectos máis relevantes é a atribución de autoridade ás decisións ou recomendacións xeradas por sistemas automatizados. Este fenómeno débese, en gran parte, á percepción social da tecnoloxía como un coñecemento científico ou técnico superior. Cando unha innovación tecnolóxica —como a IA— se presenta como avanzada, asumimos que os seus resultados son máis precisos ou fiables, incluso sen avaliar críticamente a súa validez.
Asimilación de prexuízos
Outro efecto preocupante é a adopción dos prexuízos presentes nos resultados da IA que non estaban presentes previamente nunha persoa ou colectivo. Indicouse antes que estes sistemas aprenden a partir de datos existentes, que poden conter prexuízos e estereotipos. Como resultado, non só reforzan ideas preexistentes en quen xa posúe determinadas crenzas, senón que tamén poden influír en aqueles que non tiñan opinións formadas ao respecto. A falta de conciencia sobre este proceso leva a moitas persoas a aceptar os sesgos da IA como verdades obxectivas, incorporándoos ao seu marco de pensamento sen cuestionamento.
No caso da esfera pública, a preocupación pola calidade do debate é un punto clave. Pois o obxectivo é capturar a atención do usuario, os algoritmos de IA poden amplificar información sesgada ou directamente falsa, pero que logre interese se non se supervisan ou se regulan adecuadamente. Un sistema de recomendación de noticias, por exemplo, que detecte que un usuario sol habitualmente ler contido sensacionalista podería reforzar esa tendencia, mostrarlle cada vez máis información da mesma índole e limitando o seu acceso a fontes diversas. Esta falta de diversidade informativa pode influír na percepción da realidade social e fomentar a polarización ideolóxica.
Lectura facilitada
Problemas nas Intelixenias Artificiais: Exemplos e Consecuencias
Durante a pandemia de 2020, o goberno británico usou un algoritmo para calcular as notas dos estudantes. O sistema baixou as cualificacións nun 40% e prexudicou especialmente a alumnos de zonas pobres. Tras moitas queixas, os resultados anuláronse. Outro exemplo é Amazon, que até 2018 usou un sistema de contratación que prefería a homes. Como se adestrou con currículos de homes, o algoritmo desbotaba mulleres cualificadas sen darlles oportunidade.
Erros, Sesgos e Outros Problemas nas IA
As intelixenias artificiais (IA) poden cometer erros cando non entenden ben as preguntas ou dan respostas confusas. Por exemplo, un chatbot pode responder algo equivocado se non recoñece a linguaxe coloquial. Tamén existen sesgos: se unha IA adístrase con datos antigos onde os médicos eran maioría homes, pode ignorar ás mulleres doutoras. Os estereotipos son ideas simplistas, como asociar "enfermeira" só con mulleres. Ademais, as alucinacións son respostas inventadas que parecen certas pero son falsas, como dicir que Galicia ten praias de area rosa.
Por que confiamos demais nas IA?
Moitas persoas cren que as IA sempre teñen razón porque parecen avanzadas. Isto chámase atribución de autoridade. Por exemplo, se un sistema di que unha noticia é certa, podemos crelo sen dubidar, mesmo se é falsa. Outro problema é a asimilación de prexuízos: as IA aprenden de datos con ideas discriminatorias e poden transmitilas á xente. Se un algoritmo mostra só noticias sensacionalistas, a xente pensa que todo é así e ignora outras perspectivas.
Como Evitar Estes Problemas?
Para mellorar as IA, debemos:
- Usar datos máis diversos e actualizados.
- Revisar os sistemas para detectar erros ou ideas preconcebidas.
- Educar ás persoas para que non confíen cegamente nas respostas automatizadas.
É importante recordar que as IA son ferramentas creadas por humanos e poden cometer erros. Debemos usalas con cautela e sentido crítico.