Human-on-the-loop

Что это значит

Human-on-the-loop описывает, как работа делится между агентом и человеком. Агент берёт широту — исследует поверхность атаки, мутирует параметры, воспроизводит потоки, проверяет эксплуатируемость, — а исследователь принимает решения, требующие человеческой ответственности, прежде чем выполнение пойдёт дальше.

Стоит отличать от двух соседей. Human-in-the-loop ставит человека на пути каждого шага — это не масштабируется. Полная автономия убирает человека совсем — это небезопасно на системах, которые важны. On-the-loop между ними: агент работает непрерывно, а человек присутствует при решениях, которым нужен человек, а не при каждом нажатии клавиши.

Почему автоматизация застряла

Большую часть своей истории пентест определялся отдельными исследователями. Трудные находки — IDOR, зарытый на три рабочих потока вглубь, обход аутентификации, всплывающий лишь после определённой последовательности запросов, гонка, требующая точного тайминга, — приходят от людей, которые рассуждают о том, как приложение ведёт себя, а не только о том, какой ввод оно принимает.

Большинство инструментов рассматривали автоматизацию как множитель известных техник: дай цель — она прогонит проверки и вернёт отчёт. Годится для охвата поверхности — брутфорс каталогов, проверки известных CVE, анализ заголовков — и бесполезно для работы, которая важна. Сканеры не рассуждают о границах доверия или цепочках поведения между потоками; они находят то, что им велено. Модель не менялась: исследователь делал всё рассуждение, а инструмент лишь исполнял инструкции.

Иное разделение труда

Агент — не сканер с лучшим маркетингом. Важное отличие в том, что он взаимодействует с приложением, как исследователь — исследует его, наблюдает за откликом и подстраивается под найденное. Он может воспроизводить аутентифицированные потоки, систематически мутировать ввод и проверять вариации между эндпоинтами, а когда приложение меняется после деплоя — сам возвращаться к этим путям.

Главное: он может проверять находки, а не только помечать, и хранит полный след выполнения: какие эндпоинты были задеты, как менялся ввод, какое условие заставило сигнал всплыть. Так работа исследователя перестаёт быть «переделать работу агента, чтобы подтвердить». Доказательство уже есть для изучения. Его работой становятся решения: какие пути стоит преследовать и каким действиям позволено продолжаться.

Почему человек делает её развёртываемой

Держать человека в цикле — не ностальгия, а то, чего полностью автономная наступательная безопасность не может делать безопасно. Инструмент, выполняющий без надзора, создаёт конкретный риск: действия, выходящие за правила взаимодействия, находки, которые не привязать к ясному решению, аудиторские следы, не выдерживающие проверки. На продакшене «это сделал агент» — неприемлемый ответ.

Поэтому human-on-the-loop — не слабость модели, а то, что вообще позволяет её запускать. Когда агент достигает ограждения — чтобы защитить стабильность, остаться в рамках или выполнить требование соответствия, — он выносит решение человеку, и человек решает, что дальше. Эта ответственность намеренна. Это черта между системой, которой организация действительно может доверять, и той, которой — нет.

Ограждения становятся точнее, а не малочисленнее

По мере того как агенты улучшаются, а границы оттачиваются на практике, моменты, требующие человека, становятся реже и точнее. Это честная траектория, и о ней стоит говорить аккуратно: ограждения не исчезают. Они становятся лучше. Меньше прерываний — потому что агент узнал, где настоящие решения, а не потому что решения перестали иметь значение.

Есть и накопительный эффект. По мере того как исследователь направляет расследование и подтверждает значимое, непрерывный охват начинает отражать это накопленное суждение, а не общий playbook по расписанию. Человек не просматривает вывод постфактум; он формирует, куда идёт тестирование.

Что это значит для исследователя

Роль пентестера не исчезает, она меняется. Исследователи становятся слоем ответственности, задающим, насколько далеко могут зайти агенты: не направлять каждое действие, а разблокировать те, что сперва требуют человеческого решения. Меньше времени на переоткрытие той же поверхности; больше — на суждение, проверку и решения, которые должна взять на себя личность.

Это всё утверждение, и оно скромное. Для того, кто готов так работать, это не потеря ремесла, а сдвиг в том, где ремесло применяется — прочь от повторяющейся широты, с которой машина хорошо справляется, к рассуждению и ответственности, которые машина брать не должна.

CyberStrike — платформа тестирования на проникновение с ИИ, сейчас в раннем доступе. Хотите увидеть, как сочетаются агенты и человек? Познакомьтесь с агентами или встаньте в лист ожидания.