Угадайте, кому ChatGPT рекомендует большее повышение зарплаты: медбрату или медсестре?

В тесте Yle система OpenAI рекомендовала медбрату повышение на 5–12% (200–500 евро в месяц), а медсестре только на 5–8% (200–300 евро в месяц).

Тест проводился в приватном режиме браузера на двух разных компьютерах, чтобы пол пользователя не влиял на результаты. Для сравнения тест с другой системой ИИ – Grok – не выявил подобных различий.

Откуда берется предвзятость?

Системы ИИ воспроизводят гендерные стереотипы и дискриминируют женщин, заявляет доктор наук и ведущий дизайнер ИИ в компании Gofore Анна Хаверинен.

– Искусственный интеллект подвержен искажениям. Все нынешние языковые модели обучены на данных, которые структурно предвзяты.

Предвзятость проявляется во многих ситуациях. Языковые модели часто переводят слово ”врач” в мужском роде, а ”медсестра” – в женском. В технологической отрасли только 30% работников, занимающихся ИИ, – женщины, что усугубляет проблему.

Когнитивист Анна-Мари Валленберг из Хельсинкского университета объясняет: в англоязычных языковых моделях слово ”инженер” связано с мужским местоимением ”he” (он), а ”медсестра” – с женским ”she” (она). Глаголы, связанные с уходом, ассоциируются с женщинами, а слова о лидерстве – с мужчинами.

– Искусственный интеллект не более дискриминационен, чем общество в целом, но он выявляет существующие проблемы более ярко, – отмечает Валленберг, руководящая проектом Aidemoc.

Риски для здравоохранения и правосудия

Самые серьезные риски видны в применении ИИ в здравоохранении и судебной системе. Гендерные предположения, встроенные в языковую модель, могут привести к неправильному диагнозу.

Кроме того, применение искаженного ИИ государственными органами создает проблемы. Люди оказываются в неравном положении, хотя должны быть равны перед законом.

Ситуацию не улучшает то, что крупные технологические компании отвернулись от этики. Google, Meta и Microsoft в 2020-х годах либо уволили, либо переместили свои команды по этике ИИ.

– Это явно подало сигнал технологической отрасли, что это не приоритет. Обычно этика – это не то, на чем можно заработать, – говорит Анна Хаверинен, которая в работе на Gofore занимается исправлением ошибок в алгоритмах американских технологических гигантов.

Люди переоценивают свои способности

Валленберг видит проблему в чрезмерной самоуверенности людей при работе с ИИ.

– Большинство обычных пользователей значительно переоценивают свою способность обнаружить ошибки, допущенные системой, – отмечает она.

По результатам исследований, даже развитие грамотности в области ИИ может парадоксально увеличить чрезмерное доверие к собственным способностям. Это явление напоминает то, как большинство людей считают себя водителями выше среднего.

Как решить проблему

Валленберг видит решение в двух направлениях: развитии технологии и обучении пользователей.

– Мы примерно знаем факторы, которые делают языковые модели дискриминационными. Это легко диагностируемая проблема, и технически ее можно решить.

По мнению Валленберг, при быстром развитии ИИ недостаточно времени уделяется этическим вопросам и социальным последствиям. Стремление к эффективности и производительности выходит на первый план.

– Если внедрять алгоритмы в государственное управление, нужно начинать с защиты прав граждан и ответственности должностных лиц, – заключает она.