Руслан Рахметов, Security Vision
В конце августа 2025 года мир всколыхнула новость – ИБ-компания ESET обнаружила первый в своём роде вирус-шифровальщик PromptLock на базе генеративного ИИ, который генерировал вредоносный код «на лету», отправляя промпты на его создание через API к LLM gpt-oss-20b от OpenAI. На самом деле, вирус оказался экспериментальным учебным проектом Школы инженерии Тандон при Нью-Йоркском университете – для проверки исследователи загрузили созданный ими прототип на площадку VirusTotal, где он и был найден ИБ-аналитиками из ESET. Несмотря на экспериментальный характер данного образца, тревога может считаться ложной лишь отчасти – исследователи продемонстрировали, что вирусы с ИИ могут выполнять типичные действия настоящих атак шифровальщиков, включая обнаружение и анализ данных, их кражу и шифрование, требование определенной суммы выкупа в зависимости от ценности файлов. На создание подобных продвинутых вирусов злоумышленники ранее тратили значительные ресурсы, но теперь ИИ значительно упрощает их разработку: указанный прототип потребляет примерно 23000 токенов для проведения тестовой атаки, что составляет менее 1 доллара США при использовании коммерческих сервисов для доступа к флагманским LLM, но можно использовать и вообще бесплатные Open Source ИИ-модели.
Широкое использование ИИ злоумышленниками стало уже привычным и распространенным явлением – примером является отчет о злонамеренном использовании семейства больших языковых моделей Claude компании Anthropic, которая основана бывшими сотрудниками OpenAI. Вот лишь ряд примеров злонамеренного использования ИИ из данного отчета:
1) Злоумышленники задали для Claude легенду о том, что проводится согласованный пентест, хотя на самом деле выполнялось вымогательство у как минимум 17 разных компаний, в рамках которого атакующие использовали Claude Code (ИИ-агент для помощи при разработке ПО) и Code execution tool (песочница для выполнения команд на стороне сервера Claude) вместе с хакерским дистрибутивом Kali Linux. С помощью Claude выполнялось первичное сканирование интернет-инфраструктуры жертв, перебор возможных учетных данных для доступа, поиск и эксплуатация уязвимостей, перемещение по инфраструктуре, кастомизация хакерских Open Source инструментов для закрепления в инфраструктуре, эксфильтрация документов, их анализ. Например, при атаке на финансовую организацию с помощью Claude злоумышленники проанализировали похищенные финансовые данные, оценили финансовое состояние компании и на основании этого определили сумму выкупа. Такой подход получил название «vibe hacking», по аналогии с подходом «vibe coding», который подразумевает упрощение разработки ПО с помощью ИИ.
2) Другой злоумышленник с помощью Claude разработал вирус-вымогатель, который скрывается от антивирусов и анализаторов, закрепляется в атакованной системе, обнаруживает и шифрует файлы определенного типа, обеспечивает C&C-связь. Затем тот же злоумышленник на теневых форумах предлагал этот вирус-вымогатель по модели RaaS (ransomware-as-a-service).
3) Атакующие с помощью Claude создавали фейковые профили ИТ-специалистов, успешно проходили удаленные технические собеседования в американских корпорациях из списка Fortune-500, устраивались на удаленную работу – а затем занимались шпионажем в этих компаниях, попутно успешно выполняя все рабочие задачи. При этом шпионы зачастую не знали английского и не имели профессиональных компетенций – фактически, собеседование за них проходил ИИ.
4) Мошенники использовали Claude для создания анкет на сайтах знакомств и ведения переписок с жертвами для выманивания денег, а также для создания и поддержки сервиса по покупке и продаже украденных данных платежных карт.
Для того, чтобы понять, какие угрозы характерны для ИИ и как эффективно защищать ML-модели, надо разобраться с основными понятиями и концепциями. Начнём с нейросетей и машинного обучения.
1. На развитие современных ML-моделей и ИИ-систем оказали существенное влияние нейросети – математические модели, которые имитируют передачу сигналов между нейронами в человеческом мозге. Нейросети состоят из следующих слоев:
· Входной слой: набор входных данных (можно провести аналогию с входящим сигналом, поступающий в нервную систему человека). Например, это могут быть набор свойств определенного объекта, характеристики изображения или речи, слова и образы.
· Скрытые (промежуточные) слои: набор линейных функций нескольких переменных (трансформаций) вида
Y = W1*X1 + W2*X2 + ... + Wn*Xn + B
где X1-Xn – входные данные, W1-Wn – веса для входных данных («важность» входящего сигнала, усиливающегося или ослабевающего при прохождении через синапс в нервной системе человека), B – смещение (bias, позволяет передать информацию в следующий слой, даже если входящие сигналы слабы), а Y – это взвешенная сумма, т.е. результат линейной трансформации входных данных, который затем проходит через последующие слои.
· Выходной слой: применяемое к взвешенной сумме нелинейное преобразование (функция активации). Например, могут применяться такие функции активации, как сигмоида, гиперболический тангенс, линейный выпрямитель (ReLU, Rectified Linear Unit), параметрический (PReLU) линейный выпрямитель, экспоненциальный (ELU) линейный выпрямитель и т.д.
Простейшим практическим примером работы одного скрытого слоя нейросети будет линейная регрессия, в которой будет прослеживаться линейная зависимость выходного результата от набора входных параметров. Например, у нас есть список объявлений о продаже автомобилей (определенной марки, модели, поколения выпуска и комплектации) с указанием цены. Нам нужно установить зависимость цены от года выпуска, пробега автомобиля и количества предыдущих владельцев – т.е. фактически подобрать коэффициенты (веса W1, W2, W3) в линейной функции
Y = W1*X1 + W2*X2 + W3*X3 + B
где Y – цена автомобиля, X1 – год выпуска, X2 – пробег, X3 – количество предыдущих владельцев, а B – поправочный коэффициент (погрешность). Результатом будет функция, аппроксимирующая обработанные данные из объявлений о продаже, что можно будет отобразить графиком в гиперплоскости, размерность которой будет равна числу обрабатываемых параметров (в нашем случае это всего 3 параметра). В итоге, с использованием полученной функции, встроенной на сайт по продаже машин, продавец сможет назначить оптимальную цену за свой автомобиль с учетом его года выпуска, пробега, количества предыдущих владельцев.
2. Задача нейросетей – обработать входящие данные, выявить зависимости между ними и полученным результатом, а затем предсказывать результаты на основе новых поступающих данных. Ключевой особенностью нейросетей является обучение на большом наборе исторических данных для выявления закономерностей и связей между ними, т.е. определение весов и смещений. Для эффективного обучения используется следующий алгоритм: нейросеть проходит по данным прямым проходом (forward pass) и получает результат, затем оценивается отклонение полученного результата от ожидаемого («правильного» и заранее известного) значения с помощью функции потерь (loss function). Для уменьшения отклонения используется механизм обратного прохода (backward pass / backpropagation, метод обратного распространения ошибки): ошибочный результат проходит в обратном направлении через все слои нейросети, и на этом этапе нейросеть рассчитывает, какие веса и смещения оказали влияние на появление ошибки. В результате, нейросеть меняет неверные веса и смещения на более точные, при этом могут использоваться различные методы оптимизации, такие как градиентный спуск, стохастический градиентный спуск, адаптивный градиентный алгоритм.
3. Существует несколько основных типов архитектур нейросетей, например:
· Нейронные сети с прямой связью (FNNs, Feedforward Neural Networks) – наиболее простые из нейросетей, используются для простейших операций типа распознавания цифр и классификации простых объектов;
· Свёрточные нейросети (CNNs, Convolutional Neural Networks) используются для распознавания образов, компьютерного зрения, распознавания фигур и лиц;
· Нейросети с длинными цепями краткосрочной памяти (LSTMNs, Long Short-Term Memory Networks) используются для перевода текстов, транскрибирования речи в текст;
· Генеративно-состязательные сети (GANs, Generative Adversarial Networks) состоят из двух дополняющих друг друга сетей (генератор и дискриминатор), при этом генератор пытается создать реалистичные данные (образы, текст), а дискриминатор пытается отличить эти искусственно созданные данные от настоящих – результатом будет момент, когда отличия не будут заметны. Такие типы сетей используются для создания реалистичных изображений и образов, включая дипфейки, улучшения качества изображений, создания различного медиаконтента;
· Автокодировщики (AEs, Autoencoders) используются для выявления аномалий в данных и устранения шумов и всплесков в изображениях и сигналах;
· Самоорганизующиеся карты (SOMs, Self-Organizing Maps) используются для визуализации многомерных данных и кластеризации данных;
· Сети радиально-базисных функций (RBFNs, Radial Basis Function Networks) используют в качестве функций активации радиальные базисные функции, в которых присутствует только один скрытый слой. Данные сети используются для решения задач аппроксимации, прогнозирования, классификации объектов;
· Рекуррентные нейросети (RNNs,Recurrent Neural Networks) используются для распознавания речи, рукописного текста, обработки последовательностей данных;
· Графовые нейронные сети (GNNs, Graph Neural Networks) являются логическим продолжением развития свёрточных и рекуррентных сетей и используются для работы с графовыми структурами данных, например, при анализе социальных связей, связей различных сущностей (графов знаний), в биоинформатике и молекулярном дизайне лекарств;
· Трансформеры (Transformers) стали во многом эволюцией рекуррентных нейросетей и применяются для обработки естественного языка (NLP, Natural Language Processing) и синтеза текста на естественных языках. Наиболее ярким примером является ChatGPT (где GPT – Generative Pre-trained Transformer, генеративный предобученный трансформер);
· Mamba – это достаточно новая нейросетевая архитектура, разработанная в 2023 году и основанная на моделях пространства состояний (SSMs, State Space Models). Mamba может использоваться в качестве языковой модели и демонстрирует более высокую вычислительную эффективность по сравнению с трансформерами, что позволяет задавать ей на вход большое число параметров, жертвуя при этом предыдущим контекстом.
4. Большие нейросети оперируют миллиардами параметров, для которых с помощью обучения подбираются веса и смещения. Например, в уже упомянутой нами модели gpt-oss-20b используется 21 миллиард параметров и она содержит 24 слоя, при этом модель считается по современным меркам компактной. Условно считается, что если нейросеть содержит 4 и более слоя, то её тренировка называется глубоким обучением (DL, Deep Learning). Глубокое обучение считается подвидом более общего процесса машинного обучения (ML, Machine Learning) – отличие заключается в том, что для ML используются предварительно разработанные человеком алгоритмы обработки данных, а в DL нейросети автоматически учатся обрабатывать большие объемы данных и самостоятельно корректируют алгоритмы их обработки. Соответственно, ML считается менее ресурсозатратным процессом, который хорошо работает с небольшими наборами данных и позволяет понять его внутреннюю логику принятия конечных решений, а DL более ресурсозатратен (требует высокопроизводительные графические (GPU) и тензорные (TPU) процессоры), хорошо работает с большими данными (Big Data) и с текстом, речью, изображениями, однако для стороннего наблюдателя его внутренняя логика принятия решений представляет собой «черный ящик».
5. Существует несколько способов машинного обучения:
· Обучение с учителем (Supervised Learning) – это способ машинного обучения, в котором используются размеченные наборы данных (проклассифицированные объекты с выделенными характерными признаками – датасеты, datasets), для которых некий «учитель» (человек или обучающая выборка) указывает правильные пары «вопрос-ответ», на основании чего требуется построить алгоритм предоставления ответов на дальнейшие аналогичные вопросы. Приведем простой пример: в модель загружается набор фотографий различных животных, и учитель указывает, на каких фотографий изображены коты – обученная модель должна будет в дальнейшем верно определять котов на новых фотографиях. Более сложный пример: если стоит задача обучения нейросети прогнозированию последствий автомобильных аварий, то в неё загружают исторические данные (дата и время прошедших аварий, количество участников аварии, скорость и направление движения участников, длина тормозного пути, местоположение, погодные условия) и фактические последствия прошедших аварий – таким образом, модель получает от учителя входные и выходные данные и должна научиться предсказывать последствия будущих аварий в зависимости от новых входных данных. Можно выделить несколько типов алгоритмов обучения с учителем: алгоритмы регресии (включая рассмотренную выше линейную регрессию, метод случайного леса, градиентный бустинг), алгоритмы классификации (включая логистическую регрессию, метод k ближайших соседей, метод опорных векторов), байесовские классификаторы, деревья принятия решений. На основе ML-моделей с обучением с учителем строятся системы оценки рисков, выявления мошенничества, предиктивной аналитики, выявления аномалий, распознавания образов.
· Обучение без учителя (Unsupervised Learning) – это способ машинного обучения, в котором не используются размеченные наборы данных, не указаны правильные пары «вопрос-ответ», а от модели требуется на основании известных свойств объектов найти различные взаимосвязи между ними, выявить зависимости и паттерны, на основании известных исторических данных выполнять предсказательное (прогнозное) моделирование (Predictive Modeling) будущих результатов. Обучение без учителя может осуществляется за счет алгоритмов кластерного анализа, включая такие методы кластеризации, как метод k-средних, метод k-медиан, иерархическая кластеризация, дискриминантный анализ. На основе ML-моделей с обучением без учителя строятся различные рекомендательные системы и системы выявления аномалий. Примерами использования моделей обучения без учителя будут автокодировщики (AEs) и самоорганизующиеся карты (SOMs).
· Самообучение (Self-Supervised Learning) – данный способ позволяет ML-моделям самообучаться на неразмеченных данных, при этом взаимосвязи между входными данными и результаты их обработки используются в качестве сигналов для дальнейшего самообучения. Подобные алгоритмы применяются в компьютерном зрении и обработке естественного языка – т.е. в тех областях, где сложно вручную создать необходимые объемы датасетов для обучения.
· Обучение с частичным привлечением учителя (Semi-Supervised Learning) – способ машинного обучения, в котором комбинируется небольшое количество размеченных наборов данных и большое количество неразмеченных. Такой подход оправдан тем, что получение качественных размеченных датасетов является достаточно ресурсоемким и длительным процессом. Примером использования моделей обучения с частичным привлечением учителя будут генеративно-состязательные сети (GANs).
· Обучение с подкреплением (Reinforcement Learning) – частный случай обучения с учителем, при котором «учителем» является среда функционирования, дающая обратную связь ML-модели в зависимости от принятых ею решений (награждает за верное решение и штрафует за неверное).
