Штучний інтелект (ШІ) трансформував онлайн-культуру, зробивши створення контенту швидшим, дешевшим і практично необмеженим. Існує багато платформ, які часто через безкоштовну або недорогу версію дозволяють користувачам створювати зображення чи відео, які потім можна поширювати в соціальних мережах, таких як TikTok. Насправді, часто можна знайти відео, згенеровані ШІ, створені за допомогою таких додатків, як VeoE.ai, PixVerse, Sora, Media.io та Grok. Усі ці сервіси пропонують безкоштовну реєстрацію з можливістю створення обмеженої кількості продуктів у безкоштовній версії. Альтернативно, доступний пробний період, після якого можна платити за створення більшої кількості контенту, відео чи зображень. Поширення цих ШІ-додатків та їхні властиві характеристики – низька вартість та швидке створення контенту у великому обсязі – сприяли створенню «AI Slop».
«AI Slop» означає масове виробництво низькоякісного контенту, згенерованого ШІ, з мінімальним людським втручанням. Його зазвичай створюють для максимізації кліків, переглядів, залученості та доходу від реклами. Він дешевий у виробництві, і один творець може генерувати сотні коротких відео, тому творці можуть затопити платформи величезною кількістю контенту, який, якщо він добре себе покаже, може досягти багатьох користувачів. Соціальні медіаплатформи виграють від обсягу, оскільки їм потрібні постійні завантаження та активність.
«AI Slop» тісно пов’язаний із ширшим онлайн-явищем, відомим як «brain rot» (гниття мозку). Тоді як «AI Slop» стосується самого контенту, «brain rot» описує психологічні та культурні наслідки постійного споживання швидких, фрагментованих та надмірно стимулюючих медіа. Контент «brain rot» часто абсурдний, іронічний, сюрреалістичний і навмисно позбавлений сенсу, відображаючи виснаження користувачів, які живуть у нескінченному циклі прокручування та алгоритмічних розваг.
Еволюція «brain rot» контенту, згенерованого ШІ, демонструє, як онлайн-радикалізація може виникнути через формати, які спочатку здаються абсурдними, гумористичними або нешкідливими. Нещодавнім прикладом є поширення відео «AI-generated fruit-and-vegetable slop», у яких антропоморфні фрукти чи овочі вставляються в мелодраматичні наративи, що стосуються романтики, зради, обману та сімейних конфліктів. Хоча ці відео часто відкидаються як позбавлені сенсу розваги, оптимізовані для алгоритмічної залученості, вони вже нормалізують перебільшені форми агресії та емоційного насильства через повторювані, гіперстимулюючі патерни оповідання.
Експлуатація генеративного ШІ для аудіовізуальної продукції, заснованої на насильстві
Поширення аудіовізуального контенту, згенерованого ШІ, на таких платформах, як TikTok, також привабило творців насильницького контенту, незважаючи на заборону такого контенту на платформі. Користувачі, особливо зацікавлені в насильницькому та екстремістському контенті, використовували платформи (такі як Viggle.ai) для створення та подальшого розповсюдження відео, які прославляють та оспівують терористичні та насильницькі екстремістські напади, створюючи захопливі відео з найвіруснішими онлайн-трендами.
За допомогою онлайн-моніторингу було виявлено зростаюче насильницьке піджанр: «AI fruit/vegetable gore». У цих відео барвисті та антропоморфні фрукти, згенеровані ШІ, піддаються екстремальному каліцтву, тортурам та гіперреалістичному насильству. Цей прогрес є значним, оскільки він показує, як екосистеми контенту, згенерованого ШІ, можуть поступово десенсибілізувати аудиторію. Вони досягають цього, перетворюючи знайомі, невинні образи на засоби шоку та жорстокості. Крім того, легкість, з якою контент можна створити та отримати за допомогою ШІ, прискорює цей тренд. Як зазначає Зара Мітчелл: «Бар’єр доступу обвалився, що означає, що будь-хто може створювати проблематичний контент у масштабі» (Рисунок 1).
Такий контент «gore» стосується «графічних, тривожних та насильницьких візуальних матеріалів», які демонструють акти жорстокого насильства, від убивств, жорстоких смертей до масових жертв та кадрів конфліктів. Хоча політика TikTok забороняє поширення екстремальних насильницьких матеріалів, «AI slop» з фруктами та овочами дозволяє користувачам обходити правила модерації, можливо, тому, що відео здаються невинними. Цей контент часто споживається молодшою аудиторією, яка особливо активна на TikTok. У більшості згаданих вище відео анімовані овочі та фрукти зображуються з використанням різної зброї (пістолети, сокири, гвинтівки та багато іншого), щоб жорстоко вбивати своїх ворогів, розриваючи їхні тіла на шматки, доки не вийдуть органи (Рисунок 2).
У відео «fruit/vegetables gore» «милий» естетичний вигляд приховує тривожний контент. Зокрема, анімація в стилі Pixar, яскраві кольори та мультяшні персонажі використовуються для пом’якшення насильства, приниження, боді-горору та жорстокості. Це створює суміш заспокійливої естетики та емоційного розладу.
Крім того, автори виявили значну кількість користувачів, які поширюють «AI slop» з фруктами та овочами, що пов’язані з естетикою певних злочинних організацій (картелів) та/або екстремістських екосистем (салафітсько-джихадистських, праворадикального прискорювання та нігілістичного насильства [NVE]).
Ще одне відео показує, як морква «вбиває» картоплю молотком (Рисунок 4). У розділі коментарів користувачі TikTok також чітко заявляють, що «ШІ навчився від картелів», щоб створити відео (Рисунок 4).
Рисунок 4: Користувач стверджує, що «ШІ навчився від картелів», щоб створити AI-slop.
Кілька дописів, що містять анімовану їжу за допомогою ШІ, нагадують терористичну пропаганду. Свідчення свідчать про те, що деякі з цих сцен відтворюють контент з офіційних відео Ісламської держави (ІД). Це стосується допису, показаного на Рисунку 5, де морква змушує картоплю «вибухнути».
Рисунок 5: AI-slop, натхненний офіційним пропагандистським відео ІД.
Зокрема, перші хвилини кліпу нагадують початок офіційних пропагандистських відео ІД (Рисунок 6).
Рисунок 6: Вступ до AI slop, натхненного офіційним пропагандистським відео ІД.
В іншому дописі «Халіф Морква» звертається до своєї «армії», стверджуючи, що «Держава Морква відродиться», що є перегуком сумнозвісного гасла «Ісламська Держава відродиться» (Рисунок 7). Варто зазначити, що обидва відео були опубліковані з хештегами, які прихильники ІД зазвичай використовують для поширення пропаганди в TikTok, як це спостерігалося в нашому прямому OSINT-дослідженні.
Рисунок 7: AI slop «Carrot Khalifah».
Деякі користувачі також створюють контент з анімованими фруктами та овочами за допомогою ШІ з естетичними відсиланнями до праворадикального прискорювання та Нігілістичного Насильницького Екстремізму (NVE). Біографія облікового запису, який ділиться AI-контентом з фруктами та овочами, заснованим на насильстві, містить посилання на неонацистську терористичну організацію Atomwaffen Division (AWD), а також No Lives Matter (NLM), інтернет-субкультуру, яка належить до онлайн-екосистеми NVE (Рисунок 8). Користувач також опублікував зображення овоча, закликаючи «приєднатися до ******Waffen Division», та зображення прапора, натхненного AWD (Рисунок 8).
Рисунок 8: AI slop, натхненний праворадикальним прискорюванням.
У розділі коментарів містяться заяви, що нагадують концепції з праворадикальної онлайн-екосистеми. Прикладом є коментар «POTATO SUPREMACY» («Перевага картоплі»), який явно посилається на ідеологію переваги білої раси (Рисунок 9). Крім того, користувачі посилаються на кількість жертв стрілянин, здійснених сумнозвісними терористами-прискорювачами (Рисунок 9). У розділі коментарів автори також знайшли стікери із символами праворадикального прискорювання (Рисунок 9).
Рисунок 9: AI slop, натхненний праворадикальним прискорюванням – розділ «Коментарі».
Крім того, були виявлені пости, які поєднують анімовану їжу за допомогою ШІ з відсиланнями до NVE (Рисунок 10).
Рисунок 10: AI slop, натхненний NVE.
Під цими дописами користувачі коментували термінами та сленгом, пов’язаними з NVE.
Висновок
Зрозуміло, що платформи генеративного ШІ є важливим інструментом для створення вірусного контенту в Інтернеті, включаючи насильницький та екстремістський контент, як у вищезгаданих випадках. Матеріали про насильство з їжею, створені за допомогою ШІ, легкодоступні, що ставить неповнолітніх та молодь під загрозу ненавмисного споживання графічного або тривожного контенту. Сцени з фруктами та овочами, створені ШІ, є простими та дуже повторюваними. Вони не вимагають когнітивних зусиль, забезпечують постійну винагороду через несподівані сцени та ідеально підходять для нескінченного прокручування. Вони спеціально розроблені для алгоритму, надзвичайно швидко створюються та оптимізовані для залучення. Таким чином, вони діють як пастки уваги.
Відео «AI slop», подібні до показаних вище, надзвичайно привабливі для молоді, яка активно користується соціальними мережами. Кривавий і тривожний контент, представлений у таких типах відео, може зробити насильство смішним, нормальним або навіть захопливим для наслідування. Такий контент забезпечує функціональне баналізування насильства за допомогою нелюдських елементів, зображених у прихованій іронії, демонструючи значну кількість матеріалів, заснованих на насильстві. Такий аудіовізуальний контент нормалізує певні екстремістські та насильницькі наративи та образи, роблячи їх доступними для всіх.
Щодо контенту, пов’язаного з картелів та тероризмом, існує ризик, що користувачі можуть натрапити на такий матеріал і наблизитися до членства в цих онлайн-екосистемах. Це можливо, оскільки коментарі до проаналізованих вище дописів часто функціонують як «комунікаційні центри», де користувачі пояснюють і надають подальші деталі про походження контенту, що поширюється на платформі. Хоча цей конкретний матеріал не виробляється безпосередньо «відданими прихильниками» різних структурованих екстремістських онлайн-екосистем, зрозуміло, що це імітація певного естетичного стилю. Цей тип контенту може стати основою для споживання подальшого аудіовізуального матеріалу, заснованого на насильстві, що призведе до того, що молоді користувачі потраплять у пастку онлайн-радикалізації та споживання аудіовізуального насильства.
Матеріали, засновані на насильстві, створені за допомогою ШІ, посилюють захоплення насильством заради насильства, тим самим дозволяючи так званій онлайн «оді насильству» поступово набирати обертів серед молоді в цифровому просторі. Однак ще більш тривожним є перехід від абсурдистської драми, згенерованої ШІ, до відверто графічного контенту. Радикалізуючий потенціал цього контенту полягає не обов’язково лише в ідеологічному посланні, а в нормалізації жорстокості, емоційній байдужості та алгоритмічно посиленій культурі шоку. Контент «AI slop» процвітає на повторенні, абсурді та надмірній стимуляції, поступово штовхаючи користувачів до все більш екстремальних матеріалів для підтримки залученості. У цьому сенсі перехід від нешкідливого сюрреалістичного гумору до графічного AI gore відображає ширшу динаміку онлайн-радикалізації: поступове розмивання емоційних бар’єрів через постійний вплив все більш жорстоких і дегуманізуючих зображень, де, як стверджує Мітчелл, «абсурд створює дистанцію», а «глядачі можуть насолоджуватися драмою, не відчуваючи себе причетними до чогось справді тривожного». У цьому відношенні необхідно розглянути заходи протидії щодо регулювання, згенерованого ШІ, щоб запобігти створенню та подальшому поширенню аудіовізуальних матеріалів, заснованих на насильстві, у цифровій сфері.
Тому надзвичайно важливо, щоб TikTok розробила засоби протидії, що включають ефективні інструменти для обмеження поширення такого контенту, згенерованого ШІ, на платформі. Сьогодні, з широким поширенням інструментів і пристроїв ШІ, вкрай важливо, щоб постачальники ШІ розробляли проактивні системи моніторингу та подальшого обмеження використання таких технологій для створення насильницького та екстремістського контенту. Незважаючи на нагальну потребу в автоматизованих системах виявлення на основі ШІ, необхідне ефективне розуміння «оригінальної» пропаганди та насильницького контенту, що імітується (матеріали, пов’язані з картелів, салафітсько-джихадистськими, праворадикальними, NVE), для виявлення матеріалу до його поширення, оскільки знання є першою лінією оборони проти поширення екстремістського контенту, особливо в цифровій сфері.