Распознавание фальшивых новостей большими языковыми моделями

Распознавание фальшивых новостей большими языковыми моделями

Авторы проводят эмпирическое исследование, сравнивая интеллектуальные способности четырех нейронных сетей (DeepSeek-R1, Qwen3, Gemma3, Mistral) обнаруживать ложные сообщения в скомпилированных для них новостных датасетах.

Распространение фейковых экономических новостей, утверждают во введении авторы, представляет собой глобальную проблему. Особую остроту и актуальность это явление обретает в информационном пространстве социальных медиа, где ложные сведения преимущественно негативного характера передаются от пользователя пользователю, вызывая панику и колебания рынков. Для борьбы с этим разрабатываются методы выявления недостоверной информации с использованием больших языковых моделей (LLM). Так, в исследовании, проведенном в 2023 г. лучший результат — 71% выявленных фейковых новостей — продемонстрировал ChatGPT-4.0. Китайские же ученые в 2024 г. на других моделях с различными датасетами получили усредненные 78%. 

В англоязычной среде популярными ресурсами автоматизированной верификации новостного контента являются PolitiFact, Gossip Cop и LUN с разнообразным содержанием и классами достоверности, используемые как для многоклассовой, так и для бинарной классификации. Обзор моделей GPT-3.5, GPT-4 и других показывает, что GPT-4 лидирует по качеству распознавания. Помимо LLM, применяются и классические методы с моделями типа BERT, но в представленной работе основное внимание авторы уделяют изучению возможностей четырех современных LLM выявлять дезинформацию в датасетах экономических новостей на русском языке.

Для оценки способности LLM различать реальные и фейковые новости ученые сформировали корпус из 2000 текстов: 1000 достоверных статей с сайта РБК и 1000 стилизованных под новости материалов с сатирического сайта ИА «Панорама». Темы публикаций РБК фокусируются на политико-экономической повестке с акцентом на международные отношения, в частности с США, с доминированием ключевых понятий «экономика», «власть», «нефть» и «газ». В свою очередь, материалы «Панорамы» ориентированы в большей степени на внутренние темы России и охватывают широкий спектр вопросов — от ежедневных бытовых до технологических трендов.

Для тестирования авторами были выбраны четыре современные LLM — DeepSeek-R1, Qwen3, Gemma3 и Mistral, которым предлагался стандартный промпт с запросом на распознавание и классификацию новостей по категориям реальности или фейковости с указанием степени уверенности в их качествах. Эксперимент показал, что несмотря на общую способность моделей к различению типов новостей, в ряде случаев (особо насыщенных политическими или юридическими деталями фейков) они ошибаются, признавая с высокой степенью уверенности ложные сообщения достоверными. Примеры такого рода дисфункции, по мнению авторов, иллюстрируют ограничения применимости LLM в сложных информационных контекстах.

Во второй части статьи авторы приводят результаты апробации модели противоборства Фальсификатора и Разоблачителя фальшивых новостей. Эта методика построена на основе теории игр и рассматривает взаимодействие двух игроков, использующих LLM для генерации и выявления фейков. Когда Фальсификатор стремится с помощью тех же Mistral, DeepSeek, Gemma, Qwen сделать фальшивую новость максимально правдоподобной, а Разоблачитель — выявить ее, используя аналогичные инструменты. При этом выигрыш Фальсификатора определяется долей успешно замаскированных фейков, а Разоблачителя – обратной величиной, что формирует матричную игру с противоположными интересами.

Полученные на этом этапе исследования эмпирические данные позволили авторам утверждать, что эффективность каждой модели варьируется, соответственно, не существует универсальной выигрышной стратегии ее применения. Поскольку лучшая модель разоблачения не всегда способна выявить лучшую модель генерации фейков, корректное рассмотрение их взаимодействия возможно посредством аппарата теории игр. В рамках организованного таким образом эксперимента стратегии игроков выбирались одновременно и независимо, а их возможные выигрыши были представлены в таблице, иллюстрирующей оптимальный баланс сил между Фальсификатором и Разоблачителем. Согласно авторам, такой подход позволяет прогнозировать поведение журналистов и ИИ в условиях конкуренции при создании и обнаружении фальшивых новостей между ними.

Переходя к Выводам, авторы резюмируют: на основе экспериментов с LLM-моделями было установлено, что достоверные новости почти всегда правильно распознаются этими моделями, тогда как ошибки чаще встречаются при идентификации фальшивых новостей. Среди протестированных моделей для маскировки фейков наиболее эффективной оказалась Gemma, способная придавать фальшивым новостям большую правдоподобность, а для их выявления наибольшую результативность продемонстрировала модель Qwen. Кроме того, удалось определить равновесные стратегии взаимодействия Фальсификатора и Разоблачителя, что отражает баланс возможностей обеих сторон. В итоге, заключают ученые, несмотря на заметный прогресс в области искусственного интеллекта, задача надежного автоматического распознавания фейковых новостей остается нерешенной и требует дальнейших предметных исследований.

Источник.