Отец сфотографировал гениталии сына по просьбе доктора. Это закончилось для него кошмаром
Google имеет автоматизированный инструмент для обнаружения незаконных изображений. Но система может ошибаться и последствия могут разрушить вашу жизнь, пишет The New York Times.
Марк заметил, что с его малышом что-то не так. Пенис его сына выглядел опухшим и болел. Марк взял смартфон на Android и сделал фотографии, чтобы задокументировать проблему и проследить за ее развитием.
Это был вечер пятницы в феврале 2021 года. Его жена позвонила медсестре, чтобы назначить срочную консультацию с доктором на следующее утро по видеосвязи, так как была суббота и пандемия ковида. Медсестра попросила прислать фотографии, чтобы врач мог просмотреть их заранее.
Жена Марка взяла телефон мужа и отправила на свой iPhone несколько снимков паховой области их сына крупным планом, чтобы загрузить их в систему сообщений медицинского учреждения. На одном из снимков была видна рука Марка, чтобы лучше рассмотреть припухлость.
С помощью снимков врач поставил диагноз и назначил антибиотики, которые быстро вылечили сына. Но этот эпизод создал Марку новую проблему, которая будет стоить ему контактов за десять лет, а также электронных писем и фотографий, а полиция начнет против него расследование. Марк попал в алгоритмическую сеть, предназначенную для ловли людей, обменивающихся детским порно.
Технологические компании регулярно собирают очень много данных и на них давят, чтобы они выступали в роли дозорных, изучая то, что проходит через их серверы, чтобы выявить и предотвратить преступления. Защитники детей говорят, что сотрудничество компаний необходимо для борьбы с безудержным распространением в интернете детского порно. Но это может повлечь за собой проникновение в частные архивы.
Джон Каллас, технолог из Electronic Frontier Foundation, организации по защите гражданских свобод, назвал эти случаи первыми колокольчиками. «Таких случаев могут быть десятки, сотни, тысячи», — сказал он.
Учитывая токсичный характер обвинений, Каллас считает, что большинство из несправедливо отмеченных людей не станет публично говорить о случившемся.
«Я знал, что эти компании следят за происходящим, и конфиденциальность — это не то, на что можно надеяться, — растерянно говорит Марк. — Но я не сделал ничего плохого».
Полиция согласилась. Google — нет.
Серьезное нарушение
После создания учетной записи Gmail в середине прошлого десятилетия, Марк, которому уже за 40, стал широко использовать сервисы Google. Он синхронизировал встречи со своей женой в Google Календарь. Камера его смартфона создавала резервные копии фотографий и видео в облаке Google. У него даже был тарифный план Google Fi, который он использовал для звонков и интернета.
Через два дня после того, как он сделал фотографии своего сына, телефон Марка выдал сообщение: его аккаунт был отключен из-за «вредоносного контента», который «является серьезным нарушением политики Google и может быть незаконным». Ссылка «узнать больше» вела к списку возможных причин, среди которых было «сексуальное насилие и эксплуатация детей».
Марк сначала растерялся, но потом вспомнил о своем сыне. «Боже, Google, наверное, думает, что это было детское порно», — подумал он.
Неожиданный поворот: Марк работал инженером-программистом в крупной технологической компании, занимавшейся автоматизированным удалением видеоконтента, отмеченного пользователями как «проблемный». Он знал, что в таких системах часто есть человек, который следит за тем, чтобы компьютер не совершил ошибку, и он полагал, что его дело будет рассмотрено, как только оно попадет к этому человеку.
Он заполнил форму с просьбой пересмотреть решение Google, объяснив, что его сын болел. Тем временем он обнаружил эффект домино, вызванный отказом Google. Он не только потерял электронную почту, контактную информацию друзей и бывших коллег, а также фото и записи о первых месяцах жизни сына, его аккаунт Google Fi закрылся, что означало, что ему пришлось завести новый номер телефона у другого оператора связи. Без доступа к старому номеру телефона и адресу электронной почты он не мог получить коды безопасности, необходимые для входа в другие аккаунты, что лишило его возможности пользоваться большей частью цифровых сервисов.
«Чем больше яиц в одной корзине, тем больше вероятность того, что корзина разобьется», — говорит он.
В заявлении Google говорится: «сексуальное насилие над детьми отвратительно, и мы стремимся предотвратить распространение таких материалов на наших платформах».
Через несколько дней после того, как Марк подал апелляцию, Google ответил, что не будет восстанавливать аккаунт, без дополнительных объяснений.
Марк не знал об этом, но группа проверки Google также отметила изображения, которые он сделал, а департамент полиции Сан-Франциско уже начал расследование против него.
Как Google отмечает изображения
На следующий день после того, как начались проблемы Марка, такой же сценарий был разыгран в Техасе. У малыша из Хьюстона была инфекция в «интимном месте», написал его отец в сообщении в интернете. По просьбе педиатра Кассио сделал несколько фото, которые автоматически сохранились в Google Photos. После он прислал их жене через Google Messages.
Кассио покупал дом и должен был подписать бесчисленное количество цифровых документов, но его учетную запись Gmail отключили. Он попросил своего ипотечного брокера изменить адрес электронной почты, что вызвало у брокера подозрения, но агент по недвижимости Кассио поручился за него и поэтому он смог все подписать.
«Это была головная боль», — говорит Кассия.
Изображения детей, подвергающихся эксплуатации или сексуальному насилию, отмечаются технологическими гигантами миллионы раз ежегодно. В 2021 году только Google зарегистрировал более 600 тысяч сообщений о материалах, содержащих сексуальное насилие над детьми, и в результате отключил аккаунты более 270 тысяч пользователей. Опыт Марка и Кассио был каплей в море.
Первым инструментом технологической индустрии, способным серьезно ограничить распространение детской порнографией, стала PhotoDNA — база данных известных изображений детского порно и другого незаконного контента, преобразованная в уникальные цифровые коды, или хэши. С ее помощью можно быстро отследить большое количество изображений, чтобы обнаружить совпадение даже если фотография была изменена. После того как Microsoft выпустила PhotoDNA в 2009 году, Facebook и другие технологические компании использовали ее для выявления пользователей, распространяющих незаконные и вредоносные изображения.
Более значимый прорыв произошел спустя почти десять лет, в 2018 году, когда компания Google разработала искусственный интеллект, способный распознавать новые изображения с детским порно. Это означало, что можно найти не только известные изображения детей, подвергшихся насилию, но и изображения неизвестных жертв, которых власти потенциально могут спасти. Google предоставил свою технологию другим компаниям, включая Facebook.
Когда фотографии Марка и Кассио автоматически загрузились с их телефонов на серверы Google, эта технология пометила их. Джон Каллас из EFF называет сканирование вмешательством в частную жизнь, заявив, что семейный фотоальбом на личном устройстве должен быть «частной сферой» (пресс-секретарь Google заявила, что компания сканирует фотографии только тогда, когда пользователь предпринимает «позитивное действие», в том числе, когда телефон пользователя делает резервную копию фотографий в облако компании).
«Это именно тот кошмар, о котором мы все беспокоимся, — говорит Каллас. — Они могут отсканировать мой семейный альбом и тогда у меня будут проблемы».
Модератор контента в Google должен был просмотреть фотографии после того, как они были отмечены искусственным интеллектом, чтобы убедиться, что они соответствуют федеральному определению материалов о сексуальном насилии над детьми. Когда Google обнаруживает подобное, он блокирует учетную запись пользователя, ищет другие материалы, содержащие сексуальную эксплуатацию, и, как того требует Федеральный закон, сообщает об этом в CyberTipline Национального центра помощи пропавшим и эксплуатируемым детям.
Эта некоммерческая организация стала центром сбора информации о материалах, связанных с насилием. В прошлом году она получила 29.3 миллиона сообщений, или около 80 тысяч сообщений ежедневно. Фэллон Макналти, управляющая CyberTipline, говорит, что большинство из них — это старые изображения, остающееся в постоянном обращении в интернете. Поэтому ее штат из 40 аналитиков сосредоточен на потенциальных новых жертвах, чтобы они могли определить приоритетность этих дел для правоохранительных органов.
«Как правило, когда сотрудники организации рассматривают сообщение в CyberTipline и в нем содержатся материалы с эксплуатацией, которые не были замечены ранее, они переходят к активным действиям, — говорит Макналти. — Это может быть ребенок, которого еще не идентифицировали, он может находиться в опасности».
Г-жа Макналти сказала, что хорошая способность Google обнаруживать эти изображения, чтобы ее организация могла сообщить о них полиции для дальнейшего расследования, является «примером того, что система работает так, как она должна работать».
Сотрудники CyberTipline добавляют новые изображения в хешированную базу данных, передаваемую технологическим компаниям для сканирования. Когда жена Марка узнала об этом, она удалила из своего iPhone фотографии, сделанные Марком для их сына, опасаясь, что Apple может отметить ее аккаунт. В прошлом году компания Apple объявила о планах по сканированию iCloud Photos на предмет известных изображений детского порно, но развертывание этой системы было отложено на неопределенный срок после сопротивления групп по защите частной жизни.
В 2021 году CyberTipline сообщила, что она предупредила власти о «более 4260 новых потенциальных жертвах среди детей». Среди них были и сыновья Марко и Кассио.
«Они невиновны»
Следователь не смог связаться с Марком, поскольку его номер телефона Google Fi больше не работал.
В декабре 2021 года Марк получил по почте конверт от Департамента полиции Сан-Франциско. В нем было письмо с информацией о том, что в отношении него начато расследование, а также копии ордеров на просмотр аккаунта Google и его интернет-провайдера. Следователь запросил все данные из аккаунта Марка в Google: историю поиска в интернете, историю местонахождения, сообщения и все документы, фотографии и видео, которые он там хранил.
Поиск, связанный с «видео об эксплуатации детей», был сделан в феврале, в течение недели после того, как Марк сделал фотографии своего сына.
Марк позвонил следователю Николасу Хиларду, который сказал, что дело закрыто. Хиллард пытался связаться с Марком, но его номер телефона и адрес электронной почты не работали.
«Я решил, что инцидент не содержит признаков преступления и что преступления не было», — написал Хиллард в своем отчете. Полиция имела доступ ко всей информации Google о Марке и решила, что это не является жестоким обращением или эксплуатацией ребенка.
Марк спросил, может ли Хиллард сообщить Google, что он невиновен, чтобы он мог вернуть свой аккаунт.
«Вы надо говорить об этом с Google, — по словам Марка, ответил Хиллард. — Я ничего не могу сделать».
Марк снова обратился в Google, предоставив полицейский протокол, но безрезультатно. И два месяца назад он получил уведомление о том, что его аккаунт удаляется навсегда, Марк посоветовался с адвокатом о том, как подать в суд на Google и сколько это может стоить.
«Я решил, что это не стоит семи тысяч долларов», — сказал он.
Кейт Клоник, профессор права в Университете Сент-Джонс, пишущий о модерации онлайн-контента, говорит, что бывает сложно «учесть невидимые на фотографии вещи, например, поведение людей, делящихся изображением, или намерения того, кто его сделал». Ложные срабатывания, когда люди ошибочно отмечаются, неизбежны, учитывая миллиарды отсканированных изображений.
Хотя большинство людей, вероятно, сочли бы этот компромисс оправданным, учитывая пользу от выявления детей, подвергшихся насилию, Клоник говорит, что компаниям необходим «надежный процесс» для оправдания и восстановления аккаунтов невинных людей, которые были ошибочно отмечены.
«Это было бы проблематично, если бы речь шла только о модерации контента и цензуре, — сказала Клоник. — Но это вдвойне опасно, так как приводит к тому, что о ком-то сообщают в правоохранительные органы».
По ее словам, могло быть и хуже: отец может потерять право опеки над ребенком.
Кассио также находился под следствием. Осенью 2021 года ему позвонил детектив из полицейского управления Хьюстона и попросил его прийти в участок.
После того как Кассио показал детективу свои разговоры с педиатром, с него сразу сняли обвинения. Но он также не смог вернуть аккаунт Google, несмотря на то, что является платным пользователем веб-услуг Google. Теперь для электронной почты он использует Hotmail, из-за чего некоторые даже смеются над ним, и часто делает резервные копии своих данных.
Не поймете, даже если увидите
Марк был разочарован отказом Google восстановить аккаунт после того, как он объяснил, что произошло.
Не все фотографии обнаженных детей являются порнографическими, эксплуататорскими или оскорбительными. Карриса Бирн Хесик, профессор права из Университета Северной Каролины, которая пишет о преступлениях, связанных с детской порнографией, говорит, что юридическое определение того, что является сексуально оскорбительными изображениями, может быть сложным.
Но г-жа Хесик сказала, что согласна с полицией в том, что медицинские изображения не подпадают под это определение. «Здесь нет насилия над ребенком, — сказала она. — Они сделаны не для сексуальных целей».
В машинном обучении компьютерная программа тренируется, получая «правильную» и «неправильную» информацию, пока не научится отличать одно от другого. Для того, чтобы не отмечать фотографии младенцев в ванной или детей, работающих без одежды в жару, искусственный интеллект Google для распознавания насилия был обучен как на изображениях потенциально незаконных материалов, найденных Google в аккаунтах пользователей в прошлом, так и на изображениях, не связанных с сексуальным насилием.
Я видел фотографии, которые Марк сделал со своим сыном. Решение отметить их было понятным: это фотографии гениталий ребенка. Но важен контекст: они были сделаны отцом, который беспокоится о больном ребенке.
«Мы признаем, что в век телемедицины и особенно ковида родителям приходится делать фотографии своих детей, чтобы получить диагноз», — сказала Клэр Лилли, руководитель отдела безопасности детей Google. По ее словам, компания консультируется с педиатрами, чтобы ее специалисты понимали возможные заболевания, которые могут проявиться на фотографиях, сделанных по медицинским показаниям.
Доктор Сюзанна Хейн, председатель совета по жестокому обращению с детьми и беспризорности при Американской академии педиатрии, посоветовала родителям не фотографировать гениталии своих детей, даже по указанию врача.
«Последнее, чего вы хотите — это чтобы ребенок чувствовал себя комфортно, когда кто-то фотографирует его гениталии, — сказала Хейн. — Если это абсолютно необходимо, не загружайте снимки в облако и немедленно удаляйте их».
По ее словам, большинство врачей, вероятно, не знали о рисках, связанных с просьбой к родителям сделать такие фотографии.
«Я аплодирую Google за то, что они делают, — сказала Хейн об усилиях кампании по борьбе со злоупотреблениями. — У нас действительно есть ужасная проблема. К сожалению, она затрагивает и родителей, старающихся делать для своих детей все возможное».
В начале этого года представитель службы поддержки сказал Кассио, что отправка фотографий его жене с помощью Google Hangouts нарушает условия обслуживания в программе. «Не используйте Hangouts для эксплуатации детей, — гласят условия. — Google придерживается политики нетерпимости к подобному содержанию».
Что касается Марка, Лили из Google заявила, что эксперты не обнаружили сыпи или покраснений на фото, которые он сделал, и что при последующей проверке его аккаунта было обнаружено видео, снятое шестью месяцами ранее, которое Google также счел спорным: маленький ребенок лежит в постели с раздетой женщиной.
Марк не помнит этого видео и больше не имеет доступа к нему, но он сказал, что это похоже на частный момент, который он мог сохранить, не подозревая, что его когда-нибудь посмотрит или оценит кто-то другой.
«Я могу себе это представить. Мы проснулись однажды утром. Был прекрасный день с моей женой и сыном, и я хотел сохранить этот момент, — сказал Марк. — Если бы мы спали в пижамах, проблем можно было бы избежать».
Представитель Google заявила, что компания остается при своем мнении, даже несмотря на то, что правоохранительные органы оправдали этих двух мужчин.
Виновный по умолчанию
Хесик, профессор права, сказала, что сотрудничество технологических компаний с правоохранительными органами в борьбе с сексуальным насилием над детьми «невероятно важно», но, по ее мнению, оно должно допускать исправление.
«С точки зрения Google, проще просто отказать этим людям в использовании своих услуг», — предположила она. В противном случае компании пришлось бы решать более сложные вопросы о том, «как правильно вести себя с детьми, или что уместно фотографировать, а что нет».
У Марка все еще есть надежда, что он сможет вернуть свою информацию. Полиция Сан-Франциско сохранила содержимое его аккаунта Google на флэшке. Теперь Марк пытается получить копию. Представитель полиции сказал, что Департамент старается помочь ему.
Комментарии