Колл оф Дьюти присоединяется к растущему числу онлайн-игр, в которых борьба с токсичностью ведется путем прослушивания внутриигровых голосовых чатов, причем для автоматизации этого процесса используется искусственный интеллект. Activision объявила о сотрудничестве с компанией Modulate, занимающейся разработкой искусственного интеллекта, с целью интеграции собственного инструмента голосовой модерации – ToxMod – в игры Modern Warfare 2, Warzone 2 и грядущую Modern Warfare 3.
По словам представителей компании, ToxMod, бета-тестирование которого на североамериканских серверах начинается уже сегодня, способен “в режиме реального времени выявлять токсичные высказывания, включая язык ненависти, дискриминационные высказывания, домогательства и т.д.”
Modulate описывает ToxMod как “единственное проактивное решение для модерации голосовых чатов, специально разработанное для игр”. Хотя на официальном сайте компании перечислены несколько игр, в которых ToxMod уже используется (в основном это небольшие VR-игры типа Rec Room), Call of Dutys, насчитывающая сотни тысяч ежедневных игроков, вероятно, станет самым крупным примером применения этого инструмента.
Искусственный интеллект ToxMod в Call of Dutys не будет иметь свободных полномочий для выдачи запретов игрокам. В опубликованном сегодня документе Q&A о модерировании голосового чата уточняется, что единственная задача ИИ – наблюдать и сообщать, а не наказывать.
“Система модерации голосового чата Call of Duty только отправляет сообщения о токсичном поведении, классифицируя его по типу поведения и оценивая уровень серьезности на основе развивающейся модели”, – говорится в ответе. “Activision сама определяет, как она будет применять меры по устранению нарушений модерации голосового чата.”
Теперь, хотя жалобы на вас в голосовом чате теоретически будут рассмотрены человеком, прежде чем будут приняты какие-либо меры, ToxMod при выявлении потенциальных нарушений учитывает не только ключевые слова. Modulate утверждает, что ее инструмент уникален своей способностью анализировать тон и намерения в речи, чтобы определить, что является токсичным, а что нет. Если вам, естественно, интересно, как это достигается, то вы не найдете кристально ясного ответа, зато найдете множество впечатляюще звучащих заявлений (как это уже привычно для компаний, занимающихся разработкой искусственного интеллекта).
Компания утверждает, что ее языковая модель в течение нескольких часов прослушивала речь людей с различным опытом и может безошибочно отличить злой умысел от дружеской рифмы. Интересно, что этическая политика компании Modulates гласит, что ToxMod “не обнаруживает и не идентифицирует этническую принадлежность отдельных говорящих”, но “прослушивает разговорные сигналы, чтобы определить реакцию других участников разговора на использование [определенных] терминов”.
Такие термины, как слово “н”: “Хотя слово “н” обычно считается мерзким оскорблением, многие игроки, идентифицирующие себя как чернокожие или коричневые, вернули его себе и используют в позитивном ключе в своих сообществах… Если кто-то произносит слово “н” и явно оскорбляет других в чате, это будет оцениваться гораздо строже, чем то, что кажется восстановленным использованием, естественно вписанным в разговор”
Modulate также предлагает пример вредной речи в отношении детей. “Например, если мы обнаружим в чате говорящего в возрасте до 18 лет, мы можем оценить некоторые виды правонарушений более строго из-за риска для ребенка”, – говорится на сайте.
В последние месяцы категории пометки ToxMods стали еще более детализированными. В июне Modulate ввела категорию “насильственная радикализация”, которая позволяет отмечать “термины и фразы, относящиеся к группам белых супремасистов, радикализации и экстремизму в режиме реального времени”.”
Список того, что, как утверждает ToxMod, можно обнаружить в этой категории, включает:
- Пропаганда или обмен идеологией
- Вербовка или убеждение других присоединиться к группе или движению
- Целенаправленная груминг или убеждение уязвимых лиц (т.е. детей и подростков) присоединиться к группе или движению
- Планирование насильственных действий или активное планирование совершения физического насилия
“Используя исследования таких групп, как ADL, мы разработали категорию для выявления сигналов, которые имеют высокую корреляцию с экстремистскими движениями, даже если сам язык не является насильственным. (Например, сообщение в Discord может быть невинным, а может быть тактикой вербовки)”
Modulate явно ставит перед собой высокие цели, хотя для целей Call of Dutys, похоже, ToxMod будет просто посредником между потенциальными нарушителями и человеческой командой модераторов. Хотя механизмы принятия решений искусственным интеллектом по своей сути туманны, Activision утверждает, что в конечном итоге его применение будет соответствовать официальному кодексу поведения Call of Dutys. Это не отличается от того, как Riot и Blizzard осуществляют модерацию голосовых чатов в Valorant и Overwatch 2, хотя Riot также уже более года собирает данные о голосовых чатах для разработки собственной языковой модели ИИ.
ToxMod будет внедрен в Call of Duty по всему миру с выходом Modern Warfare 3 10 ноября, начиная с модерации только на английском языке и распространяясь на другие языки позднее.
ТоксМод будет внедрен в Call of Duty с 10 ноября.
