Александра Кронштейн
Полгода назад я пыталась устроиться в колл-центр в Киеве для исследовательского проекта. Мне было всё равно, в какой. В метро я увидела рекламу, что в один требуются люди, знающие английский язык. В тот вечер я написала письмо, где указала, что знаю английский и буду заинтересована в сотрудничестве. В ответ мне прислали ссылку на тест по английскому языку. Я прошла его и ожидала, что мне сразу же предложат работу. Но не тут-то было! Они сказали, что потребуется пройти еще один шаг — телефонное интервью. Ну что ж, подумала я, пройду. Мне позвонили, и мы поговорили по-английски. В конце беседы я сказала, что смогу начать работать в ближайшее время. Но на этом мои мытарства не закончились: был еще и третий шаг отбора! Я удивилась. Зачем в колл-центр такой отсев?
На этом шаге мне прислали координаты офиса, где планировалось провести личное интервью. Лишь в этот момент выяснилось название компании, на которую я буду работать, а до этого я, оказывается, имела дело со сторонним HR-агентством. Компания называлась Ring. Я открыла её сайт, где выяснила, что эти ребята делают что-то вроде видео-домофонов. Меня тогда это не особенно заинтересовало. Я просто пришла на интервью — долго искала их здание, потому что никаких указателей не было. Меня провели внутрь довольно комфортного офиса. В одной из комнат я увидела работников, у которых на экране был фотоматериал с видеокамер, на котором они что-то помечали. Я сразу поняла, что они занимаются распознаванием объектов и имеют дело с искусственным интеллектом (ИИ), с которым я сталкиваюсь по долгу профессии.
— Эти люди занимаются тренировкой искусственного интеллекта?
— Правильно, — получила я в ответ.
"Больничные и отпуск Ring обязались выплачивать под честное слово."
Интервью заняло примерно 20 минут, меня проверили на знание английского, рассказали, что мне предстоит отвечать по почте на письма клиентов. Условия работы предлагались достаточно жесткие: надо брать как дневные смены, так и ночные, и график сна установить не получится. Зато зарплата привлекательная — 14 тысяч гривен, и можно попросить больше. Все работники — ФОПы, что для Украины не редкость («Ну вы же знаете, все так делают!»). Больничные и отпуск Ring обязались выплачивать под честное слово.
В какой-то момент интервьюеры начали прощупывать мою мотивацию. «Нам нужны преданные работники. Мы дружный коллектив, у нас возможен карьерный рост!» Моя мотивация была, видимо, для них недостаточной: я сказала, что вылетела из университета и сейчас ищу другую программу, хочу поработать в перерыве. На следующий день я получила письмо с отказом: мой «типаж» им «не подошёл».
С тех пор прошло некоторое время, но этот визит мне запомнился, ведь он был очень странным. С одной стороны, почему-то имя компании долгое время держали в секрете, с другой стороны, мне предложили по киевским меркам высокую для колл-центра зарплату, и с третьей — здесь явно шла какая-то высокотехнологичная работа.
Недавно я узнала, чем именно занимается компания Ring Ukraine. Это субконтрактор Ring, а Ring — это дочерний проект Amazon. То есть они почему-то хотели скрыть, что сотрудничают с Amazon. Почему? На этот вопрос я попробую ответить далее.
Здесь, в Киевской башне №2 на Печерске, располагается один из офисов компании
Чем занимается Amazon Ring?
Ring, стартап, выкупленный в прошлом году компанией Amazon за 800 миллионов долларов, разрабатывает дверные звонки со встроенными камерами видеонаблюдения. Эти камеры записывают видео в высоком качестве и оснащены датчиком движения. При каждом движении в зоне камеры она активируется и начинает запись. Пользователи могут со смартфона или другого девайса зайти в приложение и узнать, что происходит у них под дверью, а также посмотреть видеозаписи за предыдущее время. Такие камеры стоят у ~10 тысяч пользователей по всему миру, но преимущественно используются в США.
"Если компания начнет некритически внедрять технологии искусственного интеллекта, могут пострадать невинные люди."
В дополнение к камерам идет приложение под названием Neighbors (Соседи), в котором пользователи могут обмениваться записями. Компания позиционирует его как старый добрый соседский надзор (neighborhood watch), предотвращающий преступность «на районе». Именно на это делает упор маркетинговая стратегия компании — она играет на страхах людей. Учитывая, что преступность в США значительно снижается за последнюю четверть века, опасность получить в собственном дворе монтировкой по голове — довольно низка, а такой маркетинговый ход — не самый честный. Чтобы читатель не недоумевал, уровень преступности в Штатах всё ещё довольно высокий. Но учитывая, что он выше в бедных районах и ниже в богатых, где как раз и устанавливают камеры, цифровой «соседский надзор» кажется там излишним.
Данные с камер компания предоставляет более 400 отделениям полиции США в разных городах. Полицейские могут зайти в приложение Neighborhood и запросить у пользователей видеозаписи, на которых потенциально фигурирует тот или иной подозреваемый. Кроме того, Ring и полиция собираются сотрудничать по субсидированию камер, чтобы жители могли их покупать со скидкой. Понятно, что полиция в этом заинтересована. И, с одной стороны, это хорошо, так как можно помогать раскрывать преступления. Но, с другой стороны, если компания начнет некритически внедрять технологии искусственного интеллекта, могут пострадать невинные люди, о чем будет рассказано далее.
Глава отдела, которого нет
Больше вопросов будет тогда, когда Ring начнет использовать ИИ-технологию распознавания лиц. В таком случае камера сама будет идентифицировать по базе данных, кто сделал шаг вправо и кто — шаг влево.
Наверное, Amazon предполагает, что если западная публика узнает, что в камерах используется технология распознавания лиц, то за этим могут последовать дотошные расспросы и другие критические замечание. А плохого имиджа они не хотят. Поэтому представители Amazon Ring до сих пор утверждают, что в их камерах наблюдения ничего подобного не используется.
Может быть, последнее и правда, но подразделение компании в Украине, Ring Ukraine, похоже, работает именно над этой технологией. На их сайте они описывают свою деятельность таким образом:
Мы разрабатываем полуавтоматические системы предупреждения и мониторинга преступности, которые основаны на распознавании лиц, но не ограничиваются ими.
У компании Ring Ukraine есть офисы в Киеве и Львове. Сейчас в Ring Ukraine работает 1000 человек, а в следующем году число работников может вырасти до 1500. Компания активно рекрутирует новых инженеров-специалистов по ИИ.
Имеет место мистификация: технологию распознаванию лиц компания не использует и вроде как не собирается, но разработка инструментария идёт полным ходом. Иностранные издания начали раскручивать этот вопрос. И вот что они обнаружили.
Недавно на сайте LinkedIn появилась вакансия инженера по глубокому обучению от Ring Ukraine. От сотрудника требовался опыт в таких областях, как компьютерные инструменты обнаружения объектов, распознавания действий и лиц. Когда представителя Amazon Ring спросили про вакансию, он сказал, что «у Ring нет офиса в Киеве, там работают сторонние подрядчики», и от дальнейших комментариев отказался.
Портал BuzzFeed News также обнаружил онлайн-презентацию «начальника отдела распознавания лиц Ring» от 2018 года, некоего Александра Обедникова. В ней показано, как камеры могут лучше распознавать дорожные знаки, а также выполнять процедуру «распознавания лица без выравнивания». В апреле этого года Обедников выступил на конференции Open Data Sciences в Киеве, где он свою должность обозначил как «руководителю отдела распознавания лиц в Ring Ukraine». Согласно его профилю в LinkedIn, он по-прежнему работает в Ring Ukraine над «проблемами компьютерного зрения», но там не упоминается фраза «распознавание лиц». Иностранная пресса запросила у Обедникова комментарий, но он воздержался, как воздержались и представители Ring в Америке.
"В ноябре 2018 года Amazon Ring подала две патентные заявки, в которых описана технология, позволяющая идентифицировать «подозрительных людей» и вносить их в «базу данных подозрительных лиц»."
Я также попыталась получить от них ответ о том, какими разработками они занимаются в Украине, но ответа на свое обращение не получила.
Дальше — больше! В ноябре 2018 года Amazon Ring подала две патентные заявки, в которых описана технология, позволяющая идентифицировать «подозрительных людей» и вносить их в «базу данных подозрительных лиц». Таким образом, похоже, что компания определенно готовиться использовать ИИ на практике в своих камерах. Кстати, камеры часто захватывают в свой диапазон не только дверь, но и часть улицы, что предоставляет полицейским информацию и о перемещении других лиц. Много людей поддерживают тайну личной жизни, которая таким образом нарушается.
Согласно пользовательскому соглашению, Ring имеет неограниченный и бесплатный доступ к контенту с видеокамер, и может использовать его «в любых целях и в любых медиаформатах на любых медиа-каналах», поэтому они передали видеоматериалы программистам и разметчикам из Украины, чтобы те обучили «нейронки» распознавать подозрительные объекты и людей.
Именно за этим занятием я застала разметчиков в офисе Ring Ukraine.
Как принять депутата за убийцу
В чем же здесь подвох, если данные на основе пользовательских соглашений будут добровольно передаваться разработчикам и полиции? Дело в том, что нейронные сети обычно учатся на данных, составленных предварительно людьми. Так, чтобы научить нейронную сеть различать картинки кошечек и собачек, человек должен «скормить» ИИ картинки кошечек и собачек с разметкой, то есть, сопоставив им соответствующие ярлыки. Поэтому люди сначала обозначают предметы на фото, и на базе таких пар «картинка-подпись» обычно учится нейронная сеть. Это называется «разметка».
Проблема в том, что в реальном мире никому не интересно отличать кошечек от собачек — а интересны более прикладные задачи, такие как отличить хорошего сотрудника, претендующего на вакансию, от плохого. Кстати, у Amazon был в разработке такой инструмент, но проект пришлось заморозить и удалить. Почему? Всё просто — его обучали на базе данных с информацией про найм от прошлых лет — а люди, как мы знаем, часто не чужды сексизма, поэтому в этой базе при прочих равных чаще нанимали мужчин, чем женщин. Поэтому, будучи обученным на таком массиве, ИИ перенял человеческую предвзятость.
Точно так же может произойти и с инструментом по идентификации и построению базы данных подозрительных людей. Например, в США часто бывает, что большей степенью опасности наделяются лица с небелым цветом кожи, а также те, которых с виду можно отнести к более низким социальным классам. Нейронная сеть, обученная на таких данных, будет также чаще отмечать бедных людей с небелым цветом кожи как более опасных. Соответственно, и отделения полиции будут чаще получать от Ring сообщения именно о таких людях.
"В США часто бывает, что большей степенью опасности наделяются лица с небелым цветом кожи, а также те, которых с виду можно отнести к более низким социальным классам."
У неправильных решений, принятых ИИ, могут быть серьезные разрушительные последствия. Так, недавно штате Мичиган на вооружение был взят ИИ-инструмент, который выделял тех, кто мухлюет на бирже труда и неправомерно получает пособие по безработице. Этот инструмент неверно отметил как нарушителей порядка 40 тысяч людей, на которых возложили штраф. Многие из них открыли по этому поводу судебное дело, и суды тянутся до сих пор.
Точно так же и в случае с камерами Ring. Точность распознавания лиц во всех известных подобных инструментах не стопроцентная. Например, инструмент распознавания лиц от Amazon под названием Rekognition недавно в тестировании принял 28 членов американского конгресса за преступников. Точность чаще ниже для лиц с небелым цветом кожи. Поэтому в случае с афроамериканцами принять порядочного человека за преступника будет легче. Именно так у ни в чем не повинных людей могут возникнуть неприятности.
К сожалению, уровень подкованности в вопросах антидискриминации в Украине (как и в постсоветском регионе вообще) достаточно низок. Программисты, тестировщики и разметчики, поступающие на работу в Ring Ukraine, скорее всего, и не подозревают о том, какие последствия за океаном может иметь разрабатываемая ими технология.
Скриншот приложения — попытка ограбления с задней двери дома
Поучиться забивать на этику технологий «у небожителей»
Почему Ring Ukraine предпочел скрыть от посторонних глаз своё присутствие в Киеве, понятно. Ведь Amazon Ring не желает признаваться, что его офис в Украине разрабатывает инструменты распознавания лиц. Ведь это может привлечь к себе нежелательное внимание американской общественности, достаточно чувствительной к этим вопросам.
Но остался другой вопрос: почему Ring Ukraine заворачивает на собеседованиях сотрудников с «неверным типажом»?
И где, как вы думаете, подкрался пиздец? Он подкрался на следующий день. Хрюша позвонила и говорит, всё прошло отлично, впечатления хорошие, скилы есть, но типаж у вас не тот… (!) <…> [им] важно, что каждый найм был продуктивным. А с типажом то, что не так?! На что членораздельный ответ я не получил, кроме того, что они быстро развиваются и им нужен человек определенного типажа.
Мне почти так и сказали, что им не подошел мой типаж мол, хотя со знаниями у меня все нормально говорят, ну надо же, какое безумие!!!
Мой типаж им тоже, видимо, не подошёл: мало у меня амбиций относительно карьерного роста. Откуда же проистекает такой отбор «амбициозных» кадров?
"Кира отбирает в свою команду «амбициозных и работоспособных». На деле это выливается в то, что низкоуровневые работники недовольны как офисом, так и работой."
Возможно, дело в личной прихоти операционного менеджера компании, Киры Рудик, которая «в душе стартапер». Кира выпустилась из Киево-Могилянской академии, «работала в нескольких IT-компаниях Украины и США, прошла путь от тестировщика до топ-менеджера». В 2016 году она стала главным операционным менеджером в украинском подразделении стартапа Ring. В интервью для портала Tech Liga Кира явно упирает на то, что работоспособность и личные качества сделали её такой успешной, и, видимо, каждый так может. Представителей американских транснациональных корпораций она в интервью называет «небожителями», которые запускали бизнес много раз, и теперь, когда Amazon приобрел Ring в 2018 году, у нее появилась возможность у них поучиться.
Недавно Кира пошла в политику, примкнув к партии Святослава Вакарчука «Голос». «Одна из моих задач, — говорит она, — вообще за всю мою карьеру в IT — это борьба за имидж Украины на международной арене. Я хочу, чтобы к нам приходило больше бизнеса».
То есть Кира отбирает в свою команду «амбициозных и работоспособных». На деле это выливается в то, что низкоуровневые работники недовольны как офисом, так и работой. А всё потому, что от амбициозных и работоспособных ждут, что они будут работать за идею, а они, оказывается, хотят работать за деньги.
Но это было лирическое отступление. Важно, что Кира нигде не говорит о возможных проблемах с алгоритмической дискриминацией в проекте Ring, особенно в контексте того, что она может иметь серьезные юридические последствия. Также, видимо, её мало волнует, что Amazon давно известен своим пренебрежительным отношением к правам своих рабочих, выводом прибыли по оффшорах и другими часто присущими «небожителям» чертами.
Остаётся только догадываться о том, какую пользу она видит от прихода таких бизнесов в Украину.
Читайте также:
Наглядати та виробляти: автоматизація на українських підприємствах (Оксана Дутчак, Андрій Гладун)
Маркс, хайп і алгоритми: якою може бути соціологія цифрових технологій (Тарас Саламанюк)
Кіберпролетаріат: глобальна праця в цифровому вихорі (Нік Даєр-Візфорд)
Работникам IT необходимо объединяться (Дж. С. Чен)