Этика цифровых продуктов: почему командам разработки важно задумываться об ответственности за свои решения

Пользователи регулярно обнаруживают себя в ловушке бесконечного скроллинга ленты социальной сети или покупающими что-то не очень дорогое (но и не особо нужное), чтобы получить скидку на будущие покупки. В такие моменты возникает вопрос, где в цифровых решениях проходит граница между помощью пользователю и манипуляцией его вниманием. Можно ли еще на этапе возникновения идеи оценить возможные негативные последствия для людей?

Компании, вроде Сбербанка, Яндекс.Такси, Самоката, Озона, Вкусвилла активно используют геймификацию для увеличения активности пользователей. Зарабатывание бонусов или кэшбэков мотивирует людей чаще пользоваться определенными сервисами, но при этом они вызывают и зависимость от микронаград. В какой степени команды разработки готовы жертвовать сиюминутными бизнес-целям во имя долгосрочного благосостояния своих пользователей?

Цифровые продукты, психическое здоровье и социальная справедливость

Эффект цифровых продуктов на психическое здоровье пользователей вызывает всё больше дискуссий. Постоянные уведомления, алгоритмы, нацеленные на максимизацию вовлечённости, могут усиливать тревожность и вызывать эффект «выгорания». Например, приложения для изучения иностранных языков, фитнес-браслеты, умные часы и др. могут присылать напоминания о дедлайнах для достижения наших целей. Когда стало очевидно, что системы уведомлений повышают уровень стресса у их владельцев, в игру вступили платформы. Компания Apple, начиная с iPhone 12 в 2020 году, ужесточила правила для приложений, ограничив возможности отправки пуш-уведомлений и добавив функции контроля уведомлений для пользователей. Это вызвало неоднозначную реакцию среди разработчиков приложений: одни восприняли изменения как стимул для создания ненавязчивого взаимодействия, а другие выразили недовольство снижением возможности удерживать пользователей.

Функция Focus Assist в Windows 10 и 11 позволяет пользователям блокировать уведомления и выбирать, какие из них будут отображаться в режиме сосредоточенности. Это помогает уменьшить отвлекающие факторы во время работы или отдыха. Time Management Tools в Microsoft 365 включают функции, позволяющие пользователям планировать периоды фокусировки и автоматически отключать уведомления в это время.

Xbox Family Settings дает родителям возможность устанавливать временные ограничения на использование консолей, а также управлять доступом к приложениям и играм для контроля экранного времени их детей. Российские разработчики также стремятся поддерживать пользователей в управлении цифровым временем и снижении цифровой зависимости. У Яндекс.Браузера и социальной сети ВКонтакте есть возможность ограничения или полного отключения уведомлений для сосредоточенности. Разработчики приложения VK Звонки предусмотрели настройку, позволяющую организатору звонка ограничивать время работы в группах. Автоматическое закрытие зала по таймеру помогает контролировать продолжительность общения. У мессенджера Telegram есть функция отправки беззвучных сообщений, а также возможность запланировать время отправки сообщения, что позволяет собеседникам выстраивать деликатную коммуникацию.

Измерить результаты влияния подобных решений на улучшение психического здоровья людей сложно, но можно предположить, что такой подход снижает уровень стресса пользователей при взаимодействии с технологиями. Борьба с дискриминацией через дизайн-решения гораздо менее противоречивая тема. В России активный запуск проектов для людей с ограниченными возможностями (равно как и адаптация различных цифровых продуктов под их нужды) фактически происходила параллельно с формированием законодательной базы в области создания доступной среды. Закон о социальной защите инвалидов в России был принят в 2011 году, а уже в 2015 году навигационное приложение выпускника Бауманского университета для людей с проблемами слуха и зрения вышло в финал международного конкурса социальных технологических проектов James Dyson Award. На тот момент издание theRunet насчитало 13 уникальных российских сервисов, которые позволяют облегчить жизнь людям с ограниченными возможностями.

Таким образом, у определенной части российского бизнес-общества понимание важности этических подходов и практик, касаемых предоставления равных возможностей, сформировалось фактически без участия со стороны законодателя. Впрочем, по результатам исследования доступности сайтов и мобильных приложений для людей со слепотой, проведенного в начале 2020 года фондом «Искусство, наука и спорт» и проектом Everland среди 200 онлайн-сервисов, на отечественном рынке только 21% организаций имеют полностью доступные сайты или мобильные приложения. В этот список вошли сайт сервиса и приложение для заказа такси Максим, сайты госуслуг, налоговой службы, аэропортов Шереметьево и Домодедово, гипермаркета О’кей и образовательного портала GeekBrains.

Бренды vs. пользователи в эпоху AI

С появлением искусственного интеллекта (ИИ) и алгоритмов персонализации компании получили мощные инструменты для изучения и управления поведением пользователей. Однако эти инструменты несут риски. Например, алгоритмы, нацеленные на максимизацию вовлеченности, формируют информационные пузыри, искажающие восприятие реальности. Если пользователь на YouTube часто смотрит определенный тип видео (скажем, о фитнесе или кулинарии), алгоритм начинает продвигать исключительно этот контент, ограничивая видение других тем. Алгоритмы YouTube могут предлагать и все более экстремальный контент для увеличения вовлеченности.Исследование Mozilla 2021 года показало, что те, кто смотрел умеренные политические видео, через несколько рекомендаций мог оказаться на каналах с радикальными или конспирологическими взглядами.

Это происходит из-за стремления алгоритмов удерживать внимание, предлагая «сенсационные» видео. В прессе Великобритании осенью 2024 года обсуждались заявления бывших сотрудников TikTok и Meta (признана экстремистской организацией и запрещена на территории РФ) о недостаточной системе модерации вредного контента. По их утверждениям, алгоритмы этих социальных сетей демонстрируют подросткам-мальчикам контент, содержащий сцены насилия из-за ориентированности алгоритмов на вовлеченность. Подвергается YouTube и критике за продвижение антинаучного контента, например, видео о плоской Земле или антивакцинаторских теориях. Пользователи, которые смотрят подобные видео, получают рекомендации схожего рода, что усиливает их убеждения и затрудняет доступ к научно-обоснованной информации.

Для алгоритмов, «стремящихся» к максимизации вовлеченности, не имеют значения ни долгосрочные последствия для восприятия человеком реальности, ни общественный дискурс. Российские технологические компании также сталкиваются с вызовами в этой области. Чтобы решить проблему «пузыря рекомендаций», когда пользователи слушают одни и те же песни, стриминговый сервис Яндекс.Музыка в 2021 году добавил функцию Моя волна.

Интересно здесь то, что, по словам разработчиков, алгоритм не только подбирает бесконечный персональный поток музыки под каждого слушателя, но и способствует росту прослушивания начинающих талантливых артистов. Тем не менее, до настоящего времени ИТ-индустрия в основном реагировала на уже оформившиеся проблемы вместо того, чтобы пытаться предсказывать и предотвращать их появление. Чаще всего компания внедряет защитные решения только после возникновения критики или регуляторного давления, но не строят продукт с учетом его потенциальных рисков для пользователей.

Подробнее по ссылке.