Прогресс в области искусственного интеллекта заметно увеличил поток технологических новостей. Новые большие языковые модели (LLM), ИИ-сервисы и ИИ-агенты появляются один за другим. Разработчики обещают автоматизировать программирование, научные исследования, диагностику заболеваний и десятки других процессов. Перед журналистом встает важный вопрос: как отличить действительно значимую инновацию от эффектной демонстрации возможностей технологии? Работая с большим архивом публикаций, легко поддаться искушению: поручить искусственному интеллекту сам анализ. Попросить выделить темы, сравнить позиции, объяснить изменения. Система возвращает связный текст с примерами и выводами. Но возникает вопрос: когда такой ответ становится научным результатом? Для этого необходимо установить, как он получен и что именно подтверждают исходные материалы.
При программном анализе можно сохранить данные, код, параметры и условия выполнения, чтобы повторить вычисления. Можно проверить, какие записи исключены, как рассчитан показатель и из чего построен график. Ошибочное решение тоже можно воспроизвести. Но сохраненная процедура позволяет как обнаружить проблему, так и понять её последствия.
Исследовательский результат должен сохранять проверяемую связь с материалом. Уверенный тон ответа модели не заменяет объяснения того, на каких данных он был основан.
Граница проходит не между программированием и ИИ, а между проверяемой процедурой и принятием готового ответа на веру. Модель может помочь написать код, который затем будет проверен. И наоборот, программа может обращаться к нейросети, не сохраняя промежуточных результатов. Поэтому важнее то, как организовано исследование, чем то, какой инструмент выбран.
Для этого нужен провенанс: зафиксированная история работы с данными, по которой можно проследить путь от исходных материалов к результату. Исходная публикация, её рабочая версия, выделенный фрагмент, результат классификации и итоговый вывод должны сохранять прослеживаемую связь. Важно фиксировать, что поступило на обработку, какие действия выполнялись, какая модель использовалась и как проверили результат. Одной ссылки на источник недостаточно.
Например, система обнаружила в обсуждениях много упоминаний о новой технологии. Можно ли на этом основании написать, что сообщество активно ее использует? Одни сообщения могут содержать вопрос, другие критику, третьи пересказ чужого опыта. Даже рассказ об использовании не обязательно означает одобрение. Чтобы разобраться, нужно сохранить связь между найденным фрагментом и исходной беседой. Тогда можно вернуться к контексту, отделить разные значения и при необходимости изменить первоначальное объяснение.
Выйти из «чёрного ящика» не значит раскрыть все внутренние механизмы нейросети. Нужно сделать проверяемым исследовательский процесс, даже когда отдельный инструмент остаётся непрозрачным. Для этого нужно сохранять данные и промежуточные результаты и проверять их. Просто попросить модель подтвердить свой ответ недостаточно.
Это не требует вручную повторять всю автоматизированную работу. Арифметику можно проверить кодом, качество классификации оценить на специально отобранных материалах, неоднозначные случаи рассмотреть в контексте. Проверять нужно и то, что система нашла, и то, что могла пропустить. Иначе примеры будут подтверждать гипотезу лишь потому, что другие свидетельства остались вне поля зрения.
Провенанс не удостоверяет истину. Он делает основания вывода доступными для проверки и пересмотра.
Даже точно сохранив источник, можно неверно понять иронию или сделать слишком широкое обобщение. Поэтому важно не только проследить, как получен результат, но и проверить, действительно ли данные подтверждают сделанные выводы. На мой взгляд, ИИ стоит использовать в медиаисследованиях так, чтобы охватывать больше материалов, не теряя возможности проверить выводы. Делегировать можно многие операции. Итоговая интерпретация полученных результатов и обоснование их достоверности остаются частью работы исследователя.
Игорь Анисимов, кандидат филологических наук,
старший преподаватель факультета журналистики МГУ имени М. В. Ломоносова