ФСТЭК взялась за разработку стандарта безопасной разработки искусственного интеллекта
Об этом 18 сентября на BIS Summit 2025 сообщил первый заместитель директора Федеральной службы по техническому и экспортному контролю России Виталий Лютиков. Он рассказал, что служба разрабатывает стандарт безопасной разработки систем искусственного интеллекта (ИИ): "Он станет дополнением к стандарту по безопасной разработке программного обеспечения и будет учитывать специфические уязвимости и угрозы, связанные с ИИ. Это касается, например, работы с большими объемами данных и моделей машинного обучения".
Виталий Лютиков уверен, что до конца 2025 г. служба представит проект этого документа экспертному сообществу для обсуждения. "Также ФСТЭК разработала требования, которые вступят в силу в следующем году для государственных органов. Эти требования касаются применения технологий и сервисов на основе ИИ. Хотя пока речь идет о глобальных подходах и требованиях, служба уже начинает внедрять конкретные меры для обеспечения безопасности ИИ-технологий", - сказал Виталий Лютиков.
Директор по работе с государственным сектором ООО "Элма" (Elma) Полина Павлова отметила, что, несмотря на наличие в РФ общего стандарта безопасной разработки ПО (например, ГОСТ Р 56939-2024) и лицензий у компаний, полноценная безопасная разработка систем ИИ в ее современном понимании еще не сформирована. По словам Полины Павловой, существующие стандарты и нормативы (например, приказ ФСТЭК №117) регулируют отдельные аспекты применения ИИ в госсекторе, но не покрывают всю специфику ИИ-разработки. Например: - Текущие стандарты (например, ГОСТ Р 56939-2024) фокусируются на общих процессах безопасной разработки ПО, но не учитывают такие риски ИИ, как галлюцинации моделей, утечки данных через промты или уязвимости в машинном обучении. - Приказ ФСТЭК №117, вступающий в силу с 2026 г., устанавливает требования к ИИ в госсекторе, но ориентирован на эксплуатацию, а не на этапы разработки. Отсутствие специализированных норм для ИИ: например, нет требований к проверке корректности тренировочных данных, защите моделей от adversarial-атак типа "белый ящик" или этическим аспектам ИИ.
"Таким образом, хотя база для безопасной разработки есть, специфические для ИИ стандарты пока отсутствуют. Разрабатываемый ФСТЭК документ должен восполнить этот пробел. Мы его очень ждем", - заключила Полина Павлова.
Заместитель генерального директора по науке АО "СиСофт Девелопмент" (входит в ГК "СиСофт") Михаил Бочаров отметил, что безопасная работа стековых или дополняющих друг друга программных решений должна быть не просто дополнением, а полноценными требованиями, обязательно верифицированными между собой: "Опасность заключается в конечном результате, поэтому пока ИИ рисует картинки или пишет рефераты, он безопасен. Необходима маркировка продуктов, сделанных с помощью ИИ, - такой закон недавно принят в Китае, где также прописана и ответственность конкретного человека за результат работы ИИ. Попытки обезличить ответственность должны быть изначально исключены. Если говорить про роль ИТ-компаний в разработке стандарта, мнение профессионального сообщества должно обязательно учитываться, но в вопросах безопасности оно должно играть не решающую, а совещательную роль".
Архитектор ИИ-решений ООО "Рексофт" Эдуард Ашрафьян считает, что при разработке безопасного стандарта систем искусственного интеллекта предпочтительно участие ранее репрезентативного состава лидирующих ИТ-компаний в рабочей группе, которая будет отражать интересы и видение сообщества: "Реальная экспертиза по внедрению ИИ и связанным рискам сосредоточена в бизнесе, который уже получил промышленный опыт. Учет этого опыта при проектировании будет ценен для повышения практичности стандарта и ускорения его внедрения. Также видится полезным подключение профильных ассоциаций для направления запроса по привычным каналам для участников рынка".
Руководитель отдела ML ООО "ППГ" Postgres Professional Савелий Батурин полагает, что было бы логичнее разрабатывать стандарт коллективно: "У ИТ-компаний накоплен большой опыт в тюнинге и настройке систем так, чтобы они не выдавали плохой результат. Совместная работа позволила бы быстрее сформулировать понятный и практичный стандарт, опираясь на реальный опыт и наработки рынка, а не только на регуляторный взгляд".
SDL-архитектор (Security Development Lifecycle - жизненный цикл безопасной разработки) ООО "Гетмобит" (Getmobit) Султан Салпагаров отметил, что привлечение ФСТЭК России к разработке ГОСТ научных центров, в первую очередь ИСП РАН, вендоров, испытательных лабораторий поможет формализовать и упорядочить опыт реальных разработчиков ИИ, того же "СберТеха" и "Яндекса", поэтому разнообразие представителей различных организаций в рабочей группе скорее хорошо, чем плохо. "Их участие позволит повысить как качество, так и скорость разработки ГОСТ. Важно только сделать стандарт открытым к новым путям исследований в такой новой, экспериментальной сфере", - подчеркнул Султан Салпагаров.
Руководитель направления по внедрению ИИ в BPMSoft (входит в ИТ-холдинг Lansoft) Андрей Зыкин считает, что идея вовлечь бизнес с самого начала понятна, но не всегда эффективна: "Подключение всех желающих компаний рискует затянуть процесс, а выбор "избранных" - сделать стандарт однобоким, заточенным под конкретные технологии или уровни зрелости. ФСТЭК целесообразно подготовить базовую версию стандарта с участием академического сообщества, например РАН, где вопросам искусственного интеллекта уделяется повышенное внимание. Это обеспечит научную нейтральность и опору на мировой опыт. А уже после этого - провести открытую консультацию с ИТ-индустрией".
Заместитель технического директора ГК "Цифровые привычки" Сергей Генералов считает, что регулятору необходимо разработать обязательства перед компаниями, использующими и предоставляющими сервисы на основе ИИ для включения алгоритмов защиты от подобного поведения. "Использование ИИ - это лишь бизнес и технологический инструмент, и ответственность за этот инструмент должна лежать полностью на компании, которая его применяет. Законы и правила, единые для всех, должны разрабатываться для ИИ в том числе, и с особенностями, характерными именно для ИИ", - отметил Сергей Генералов.
Технический директор ООО "МД Аудит" (MD Audit - ГК Softline) Юрий Тюрин напоминает, что в России уже сформированы базовые подходы к безопасной разработке ПО, но применительно к ИИ они пока находятся на этапе становления: "Крупные компании и исследовательские центры применяют практики защиты данных и контроля качества моделей, но единого стандарта нет - каждая организация выстраивает процессы на свое усмотрение. Это приводит к разрозненности требований и разному уровню зрелости безопасности в проектах. Разработка стандарта ФСТЭК важна, чтобы унифицировать требования к защите данных, обеспечению прозрачности работы моделей и управлению рисками, связанными с обучением ИИ на больших массивах информации".
Сооснователь цифрового логистического оператора versta.io Валерий Геленава рассказал, что безопасная разработка ИИ как отдельная практика только формируется, при этом не только в РФ, но и в мире: "В данный момент разработчики систем и сервисов на базе ИИ ориентируются на общие практики безопасной разработки ПО, но при этом не учитывают специфические угрозы для систем на базе ИИ, к примеру, такие как "отравление обучающих выборок", adversarial-атаки. При этом в связи с тем, что использование систем на базе ИИ растет, всем без исключения заказчикам и разработчикам подобных решений было бы полезно опираться на рекомендации в части безопасности".
Директор по стратегии и развитию технологий АО "Аксиом" (Axiom JDK) Роман Карпов рассказал о ключевых пунктах, которые, по его мнению, должен содержать стандарт безопасной разработки систем искусственного интеллекта: "Проблема ИИ заключается в двух аспектах. Во-первых, это жизненный цикл обученной модели. Мы создаем модель, но через день ее актуальность может измениться. Поэтому важно иметь инструменты для контроля, чтобы понимать, насколько модель эффективна. Во-вторых, необходимо отслеживать галлюцинации и ошибки, которые могут возникать в процессе работы модели. Важно развивать критическое мышление, чтобы отличать правдивую информацию от ложной. В современном информационном поле сложно определить достоверность сообщений без дополнительной проверки. То же самое касается и ИИ: нужно убедиться, что модель работает корректно в рамках заданного жизненного цикла".
Директор ИБ-направления ООО "УльтимаТек" Татьяна Белоусова подчеркнула, что вопрос безопасности ИИ выходит за рамки классической информационной безопасности: "Безусловно, это включает все, что относится к DevSecOps (англ. Development, Security, Operations - методология в разработке программного обеспечения, направленная на повышение безопасности и снижение рисков инцидентов информационной безопасности - прим. ComNews), а также безопасность источников обучения модели (цепочку поставок данных), тестирование на галлюцинации и оценку логики выдаваемых ответов. Искусственный интеллект - это сложная и динамично развивающаяся сфера, и без участия экспертов, разрабатывающих ИИ, стандарты рискуют оказаться бесполезными или даже вредными".
Начальник отдела ИТ ООО "Газинформсервис" Сергей Коловангин тоже отмечает, что на текущий момент разработка систем ИИ в лучшем случае укладывается в текущие процессы безопасной разработки ПО в тех компаниях, где соответствующие стандарты приняты, при этом акцент, как правило, делается на "родовые травмы" систем ИИ - например, угрозы отравления данных. "Прочие аспекты ИБ, особенно на стыке технологий, и традиционная безопасность инфраструктуры могут быть не учтены, и именно задача регулятора - свести воедино свод требований, включая смежные направления", - сказал Сергей Коловангин.