ИИ-модели прошли экологическую проверку

НИУ ВШЭ и Росприроднадзор завершили первое в России масштабное исследование, посвящённое оценке профессиональной пригодности языковых моделей искусственного интеллекта (LLM) для решения задач в области экологии и ESG-управления. Инициатива стала ответом на растущий запрос со стороны бизнеса, госорганов и общества к цифровым инструментам, способным оперативно поддерживать принятие экологически значимых решений.

Исследование проводилось междисциплинарной командой специалистов Высшей школы экономики (кампусы Санкт-Петербурга и Перми) при участии экспертов Федеральной службы по надзору в сфере природопользования и ФГБУ «Государственный научно-исследовательский институт промышленной экологии». Работа финансировалась в рамках Программы фундаментальных исследований ВШЭ.

В качестве тестовой базы был сформирован корпус из 81 запроса различной сложности — от простых вопросов типа «Требуется ли?» с бинарным ответом, до комплексных кейсов, предполагающих анализ законодательства, логический вывод и междисциплинарную интерпретацию. Для каждого вопроса экспертами были подготовлены эталонные ответы, с которыми затем сравнивались результаты генерации языковых моделей. Оценка проводилась по критериям когерентности — то есть логической и семантической близости — с учётом таких параметров, как полнота, актуальность, структурированность и точность.

По итогам апрельского тестирования 2025 года лидером рейтинга стала модель Grok AI, опередив конкурентов по совокупному значению когерентности и качеству ответов. В тройку также вошли Qwen и DeepSeek — обе разработаны китайскими компаниями. Российские модели Yandex GPT и GigaChat заняли соответственно четвёртое и пятое места. В исследование включались только те LLM, которые доступны через интернет и не имеют ограничений для установки в закрытых IT-контурах компаний и госструктур.

— Мы не просто проверяли наличие правильного ответа, но и анализировали, насколько полно и точно модель передает смысл эталонного ответа, подготовленного экспертами Росприроднадзора, — пояснил доцент департамента менеджмента НИУ ВШЭ — Санкт-Петербург и руководитель исследования Максим Сторчевой. — В исследовании идет речь о том, что все модели в какой-то степени ошибаются, поэтому безоговорочно доверять им нельзя.

По данным Росприроднадзора, только в 2023 году в центральный аппарат ведомства поступило свыше 8200 обращений, причём более половины касались загрязнения окружающей среды и управления отходами. Внедрение ИИ может существенно ускорить обработку таких обращений, повысить доступность справочной информации и разгрузить специалистов от рутинной работы. Кроме того, модели могут быть полезны при подготовке отчётности, разработке ESG-стратегий и в процессах внутреннего экологического комплаенса компаний.

Однако исследователи подчёркивают: несмотря на потенциальную пользу, использование LLM в экологии должно сопровождаться механизмами контроля. Среди рисков названы отсутствие указания источников информации, ограниченность маркеров неопределённости и склонность моделей к гиперуверенности в своих выводах. По словам заместителя руководителя Росприроднадзора и соавтора проекта Владимира Чернышева, внедрение современных моделей искусственного интеллекта в сферу экологии и ESG-управления — не просто преимущество, а важное условие для выработки корректных решений в условиях глобальных вызовов.

— Доступные сегодня инструменты в реальном времени обрабатывают и анализируют огромные объемы данных, — поделился он. — Таким образом можно точнее прогнозировать экологические изменения, детальнее оценивать последствия человеческой деятельности и разрабатывать более эффективные стратегии по управлению ресурсами и рисками. Мы смотрим на этот инструмент в первую очередь с точки зрения минимизации нагрузки на компоненты окружающей среды.

По его словам, такие системы уже сегодня помогают прогнозировать изменения, точнее оценивать последствия хозяйственной деятельности и формировать обоснованные решения по управлению рисками, что, в свою очередь, укрепляет рыночные позиции компаний.

На основе эксперимента был составлен рейтинг LLM-моделей по качеству ответов в области экологии.

В числе конкретных примеров, использовавшихся при тестировании, фигурировал вопрос о последствиях отсутствия комплексного экологического разрешения у объекта I категории. Большинство моделей перечислили применяемые в таком случае штрафы, повышающие коэффициенты экологических платежей и нормативные основания, такие как статья 8.47 КоАП РФ. Однако детализация и юридическая корректность ссылок варьировались, что послужило аргументом в пользу дополнительной экспертной проверки.

Исследование также показало, что наиболее слабые места у LLM проявляются при работе с конкретными вопросами — например, начинающимися со слов «Кто?», «Когда?» или содержащими скрытые логические допущения. Некоторые модели не смогли точно интерпретировать требования законодательства, что, по мнению авторов, связано с недостаточной глубиной обучения на профильных юридических и отраслевых текстах.

Обновление рейтинга ИИ-моделей в сфере экологии планируется проводить каждые шесть месяцев с учётом изменений в законодательстве, появления новых моделей и динамики дообучения существующих. Следующий обзор запланирован на ноябрь 2025 года.