Нові онлайн-платформи з’являються майже щодня. Часто вони стають зручним інструментом для екстремістів, навіть попри наявність правил модерації. Одна з таких платформ, Viggle AI, запущена у березні 2024 року, вже має понад 40 мільйонів користувачів, стрімко набираючи популярність як серед звичайних, так і серед зловмисних користувачів. Аналіз трьох різних онлайн-екосистем екстремістів – ультраправої, спільноти “True Crime Community” (TCC) та салафітсько-джихадистської – виявив часте використання Viggle, платформи генеративного ШІ, для поширення пропаганди. Функції Viggle експлуатуються для створення відео відомих нападників, які танцюють, при цьому акцентується кількість жертв їхніх злочинів. Попри відмінності в ідеологіях, ці три екосистеми використовують Viggle AI з однаковою метою: створювати привабливий, запам’ятовуваний контент, що прославляє насильство та смерть. Цей контент поширюється як через застосунок Viggle AI, так і через соціальні мережі, зокрема популярні серед молоді, як-от TikTok.
Що таке Viggle AI?
Viggle AI — це безкоштовний генератор зображень у відео за допомогою ШІ, який дозволяє користувачам перетворювати будь-яке зображення на відео. Його можна використовувати з готовими шаблонами руху або з оригінальними відео, що слугують еталоном руху. ШІ пропонує кілька варіантів створення відео. Серед них — AI Dance Generator, який може анімувати зображення, завантаживши його в додаток та вибравши доступний шаблон танцю, або завантаживши новий відеофрагмент-референс.
Додаток Viggle AI має стрічку, розділену на три секції: «Trending» (Популярне), «Explore» (Огляд) та «Followed» (Підписки). Разом із полем пошуку це дозволяє користувачеві вільно досліджувати весь контент, створений за допомогою ШІ. Через додаток користувачі також можуть переглядати профілі інших користувачів та їхні статистичні дані, такі як «Mix», «Likes» (Вподобання), «Followers» (Підписники) та «Following» (Кого підписано).
Контент, створений у додатку, зберігає водяний знак Viggle AI при використанні безкоштовної версії. Його можна завантажити, оновити або поділитися ним безпосередньо на інших платформах, таких як Instagram або TikTok. Обидві платформи згадуються у блозі на вебсайті Viggle AI, де підкреслюється, як «Viggle AI став значним драйвером трендів у TikTok» завдяки своїм функціям.
Viggle AI та онлайн-екосистема ультраправих
У додатку Viggle AI був легко виявлений контент, пов’язаний із відомими ультраправими стрілками, такими як Брентон Таррант, Андерс Брейвік та Пейтон Гендрон. Через поле пошуку можна було знайти як відео, так і користувачів, що включали або посилалися на цих осіб (Малюнок 1). Більшість знайдених відео зображували стрілків, що танцюють, і використовувалися в TikTok як частина тренду «Rampage dance».
Переважна більшість знайденого контенту була присвячена Тарранту, який зберігає значну актуальність в онлайн-екосистемах ультраправого екстремізму завдяки прямій трансляції свого нападу, що згодом надихнула інших нападників.
Зазвичай стрілків зображують танцюючими в місцях, безпосередньо пов’язаних з їхніми нападами: Тарранта часто показують біля мечеті Аль-Нур, тоді як Гендрон зазвичай зображений біля продуктового магазину Tops Friendly Market. Ще одним поширеним елементом є посилання на їхніх жертв, як правило, у вигляді кількості вбитих осіб, доповнене емодзі, що вказує на їхню релігійну приналежність: у випадку Тарранта на екрані зазвичай з’являється «-51» разом з емодзі ☪️, що пояснює як кількість жертв його нападу, так і їхню релігію в ісламофобському прославлянні (Малюнок 2).
Ці відео явно прославляють насильство нападів, опускаючи їхній ідеологічний контекст, а коментарі згодом заповнюють цю прогалину, спрямовуючи глядачів до інформації про нападників.
Viggle AI та онлайн-екосистема спільноти “True Crime Community” (TCC)
Автори також виявили масове використання Viggle AI спільнотою «True Crime Community» (TCC). У цій специфічній екосистемі деякі люди розвивають сильну захопленість серійними вбивцями, їхнім життям та злочинами, і створюють матеріали для прославлення вбивць. Хоча ідеологія часто не збігається, відбувається прославляння насильства та його заохочення. Останній процес може бути полегшений та прискорений за допомогою інструментів ШІ. Зокрема, деякі члени онлайн-екосистеми TCC використовують Viggle AI для створення відео з серійними вбивцями та стрілками в школах, які танцюють перед місцями скоєння їхніх нападів. Ці відео також демонструють кількість жертв, пов’язаних із кожним нападом. У цій спільноті контент, пов’язаний із насильством, позбавляється негативного значення та зображується як радісний і пам’ятний. Більше того, виходячи з коментарів на вищезгаданих платформах соціальних мереж, деякі відео створюються на замовлення, як показано на Малюнку 4.
Найчастіше зображуються стрілки в школах, ймовірно, через легкість, з якою молоді користувачі можуть їх ідентифікувати, а також інші види злочинців, відповідальних за масові вбивства. Контент, пов’язаний з виконавцями нападу на школу Колумбайн, нападу на початкову школу Сенді-Хук та нападу на християнську школу Abundant Life, був доступний онлайн, на додаток до матеріалів про кількох американських серійних убивць (Малюнок 5).
Безсумнівно, ці відео не закликають прямо до вбивства, а скоріше призводять до нормалізації насильства. Створення такого контенту, як зазначили Ондрак і Вітеллі, може призвести до «популяризації акту цих нападів, зводячи насильство до естетичної дії», прославляючи вбивць. Таким чином, ідея полягає в тому, що поширення такого контенту не просуває конкретну ідеологію, а радше насильство як розвагу.
Viggle AI та салафітсько-джихадистська онлайн-екосистема
Відео, згенеровані Viggle AI, також широко поширюються в просалафітсько-джихадистській онлайн-екосистемі. Ці відео, як і описані вище, в основному прославляють відомі терористичні напади. Зазвичай головними героями таких відео є медійно відомі муджахіди — такі як Джихаді Джон та/або так званий «Французький цирульник» — та інші відомі терористи-нападники. Ці особи зазвичай зображуються в агресивних позах, часто виконуючи популярний танцювальний тренд «rampage». Цей тренд — це вірусна короткоформатна вулична танцювальна комбінація, яка поєднує роботизовану анімацію з ілюзійним ковзанням. Автори спостерігали повторне використання осіб, пов’язаних з відомими терористичними нападами, включаючи 11 вересня, напад на Crocus City Hall і, найімовірніше, напад на Бондай-Біч (Малюнок 6).
Ці відео послідовно характеризуються візуальними індикаторами, які відображають кількість жертв, пов’язаних з кожним нападом (Малюнок 7).
Наприклад, на Малюнку 7 показано два відео, що зображують відповідно Захрана Хашима (ліворуч) та Омара Матіна (праворуч), які виконують згаданий «rampage dance» з числами, що вказують на жертв, убитих під час скоєних ними нападів. Viggle AI також використовувався для створення відео з відомими джихадистами та муджахідами, розроблених для приваблення молодої аудиторії на платформах, таких як TikTok (Малюнок 8).
Зокрема, існують відео, де терористи виконують «rampage dance» на фоні місць нападів або на зеленому екрані, що дозволяє користувачам легко генерувати новий контент (Малюнок 9).
Зокрема, автори виявили масову присутність зображень та/або відео, пов’язаних з такими нападниками, як Омар Матін, Захран Хашим та Мухаммадсобір Файзов, відповідно пов’язаних з терористичними нападами 2016 року в Орландо, 2019 року в церквах Шрі-Ланки та 2024 року в Crocus City Hall. Найчастіше такий аудіовізуальний контент поєднується з використанням явних хештегів, що відносяться до салафітсько-джихадистського середовища та кількості жертв, без будь-якого цензурування. Крім того, автори спостерігали відео, що містять інституційну пропаганду ІДІЛ. Наприклад, було виявлено відео, пов’язане з інституційним медіа-ресурсом ІДІЛ Al-Furqan (Малюнок 11).
Зокрема, відоме відео «A message to America», вироблене вищезгаданим офіційним медіа-хаусом Al-Furqan, використовувалося для створення мемів шляхом накладання образу відомого «Джихаді Джона», при цьому логотип медіа-ресурсу ІДІЛ залишався видимим.
Висновок
Наразі зрозуміло, що Viggle AI, як і інші подібні генеративні ШІ, є новою межею у створенні спонтанної екстремістської пропаганди. Платформа виконує подвійну функцію в онлайн-середовищі. З одного боку, Viggle AI функціонує як «творчий інструмент» для розробки альтернативних аудіовізуальних матеріалів у трьох екстремістських екосистемах. Таким чином, використовуючи цю платформу генеративного ШІ, прихильники трьох екосистем можуть створити привабливий контент для молодшої аудиторії, яка особливо активна на платформах соціальних мереж. З іншого боку, завдяки «соціальним функціям», які надає сама платформа, користувачі діляться фінальними результатами роботи ШІ безпосередньо на Viggle AI. Отже, платформа сама по собі слугує сховищем такого типу контенту, не змушуючи користувачів шукати специфічний контент на інших платформах, як-от TikTok.
Більше того, варто зазначити, що Viggle AI служить спільним знаменником у розглянутій екстремістській мережі. Аналізуючи аудіовізуальний контент, створений прихильниками трьох екосистем, можна спостерігати спільне бажання ідолізувати та прославляти насильство. Як наслідок, використовуючи відомі, популярні фігури, пов’язані з тероризмом, і підкреслюючи аспект насильства, можна створити сучасну та привабливу для молоді «оду чистому насильству», без будь-якої специфічної прив’язки до безпосередньої екстремістської мети, що представляється трьома цільовими екосистемами.
Слід зазначити, що TikTok зосереджений на демонтажі матеріалів, пов’язаних з тероризмом, на платформі через «комбінацію технологій, експертів з безпеки та професіоналів, а також партнерів з виявлення загроз». Аналогічно, Viggle AI розроблений для забезпечення безпечного простору на платформі шляхом оцінки проблемного та насильницького контенту.
Незважаючи на це, тип контенту, виявлений та проаналізований авторами, певною мірою важче виявити, оскільки він не є таким явно насильницьким, як інші види екстремістського контенту, присутнього в соціальних мережах. Тому платформам слід почати відстежувати інші відповідні елементи, які можна використовувати для ідентифікації цього конкретного типу відео: ключові слова, числа або місця, що посилаються на напад, часто згадувалися в описах відео, а також змінені імена екстремістів. У цьому відношенні вищезгадані платформи могли б розширити свій фокус на ідентифікацію зображень, пов’язаних з нападниками, часто в поєднанні з іншими елементами, які сприяють створенню цієї специфічної та тонкої форми онлайн-пропаганди. Нарешті, слід приділити значно більше уваги контролю за тим, як експлуатується генеративний ШІ, та регулюванню контенту, який він генерує, з боку різноманітних зацікавлених сторін, окрім самих технологічних компаній.