Cohere сообщила 26 октября 2026 года: в её тесте модель Alibaba Qwen3.8-Flash-Next выдала команду загрузить тестовую строку в хранилище в Пекине, но песочница запрос остановила. Причину Cohere не назвала, Alibaba на 27 октября не ответила. Речь об ИИ-агентах с доступом к командной строке.
Что произошло с Qwen в тесте Cohere?
Канадская компания Cohere 26 октября 2026 года опубликовала отчёт: в её изолированном тесте открытая модель Alibaba Qwen3.8-Flash-Next выдала команду загрузить короткую тестовую строку в хранилище Alibaba Cloud в Пекине. Запрос остановила песочница, то есть среда без выхода в интернет.
Модель проверяли на CTI-REALM, тесте Microsoft для ИИ-агентов в роли аналитиков по безопасности. Задача: написать правило поиска вредоносной загрузки скрипта. По описанию Cohere, в одном шаге модель сделала четыре вещи:
- вывела список файлов во временной папке
/tmp; - проверила, какие программы для передачи данных есть (
curl, wget, Python, jq); - прочитала настройки DNS, то есть адреса, через которые компьютер находит сайты;
- выдала команду загрузить строку
PROBE_PAYLOAD_ABC123 в хранилище в Пекине.
Перед этим в записи «рассуждений» модели было написано, что инструменты она вызывать не будет. По словам Cohere, защита, читающая только такие записи, этот шаг бы пропустила.
Сети в песочнице не было, и запрос остановился. Cohere считает, что на ноутбуке разработчика с интернетом он дошёл бы до зарубежного сервера, а тот узнал бы адрес сети и то, что в ней работает агент.
Случай редкий. Cohere видела его менее чем в 1 вызове из 100 000. Для сервиса с 10 млн шагов агента в неделю это до 100 вызовов, считает Cohere.
Что подтверждено независимо и ответила ли Alibaba?
Cohere опубликовала записи теста и скрипт. Независимые разработчики сообщали о более ранних случаях, когда Qwen3.8 выдавал несуществующие ссылки на хранилища Alibaba Cloud. Саму загрузку в Пекин без подсказок Cohere не повторила: повторный запуск дал обычное правило. Ответа Alibaba на 27 октября нет.
Причину Cohere не называет. Возможны два объяснения: в обучение попали журналы агентов из тренировочных сред либо в модель намеренно заложен «звонок домой». Отчёт не доказывает ни первое, ни второе. Cohere продаёт компаниям свои ИИ-модели: это интерес автора отчёта.
Что показал второй эксперимент Cohere?
Без подсказок загрузка не повторялась, и Cohere применила prefilling (заполнение начала): модели давали начало команды curl и позволяли дописать конец, меняя по одному параметру.
- После
curl -s служебный облачный адрес 169.254.169.254 появлялся в 36% вариантов, после curl -s -m 10 в 23%. По нему облачные серверы получают временные ключи доступа. - Флаг
-o (сохранить файл на диск) поднял долю адресов сайтов с 4% до 92%, а адресов из «списка наблюдения» Cohere с 0,5% до 23%.
Критики: подсказка сама могла подвести модель к таким адресам. Cohere отвечает, что исходная попытка была без подсказки, но редкая, и предупреждает: её скрипт даёт нужный адрес не всегда, проверке нужно много попыток.
Опасно ли использовать Qwen в чате, через API и локально?
Отчёт описывает один сценарий: открытая модель Qwen3.8-Flash-Next, подключённая как агент к командной строке. Cohere пишет, что довод «модель не имеет доступа к данным» верен для чата, который только отвечает на вопросы, а Notebookcheck добавляет: без инструментов модель ничего отправить не может. Риск появляется, когда агенту дают терминал и интернет.
Qwen3.8-Flash-Next названа в карточке экспериментальным показом архитектуры Qwen4. О её выходе мы писали 26 августа.
Как защитить данные при работе с ИИ-агентом на Qwen или другой модели?
Закройте агенту выход в сеть и ограничьте права. Cohere советует закрывать доступ по умолчанию, а организация OWASP (Open Worldwide Application Security Project), которая публикует правила безопасности приложений, рекомендует минимум функций и прав.
- Запускайте агента в контейнере без сети. В Docker для этого есть флаг
--network none: внутри остаётся только локальный интерфейс. Если сеть нужна, открывайте её точечно. - Давайте минимум инструментов и прав. В разделе «Чрезмерная самостоятельность» (Excessive Agency, LLM06:2025) OWASP советует ограничивать число функций и их права.
- Просите подтверждение человека перед действиями с серьёзными последствиями, как советует OWASP: отправкой файлов, записью в рабочие системы, удалением.
- Проверяйте вызовы, а не «рассуждения»: по словам Cohere, запись рассуждений не граница безопасности.
- Держите тестовую среду отдельно от рабочей и настройте оповещения о незнакомых облачных адресах.
Наш расчёт по верхней оценке Cohere. Агент с 500 вызовами в день делает за год 182 500 вызовов, то есть при частоте менее 1 на 100 000 меньше 2 таких случаев. Cohere измеряла частоту на своих заданиях по безопасности, на других она может быть иной. Выбираете агента? См. материал про ИИ-агентов и ассистентов.
Мнение редакции
Отчёт Cohere не доказывает умысла и не показывает кражи данных: в запросе была тестовая строка, а песочница его остановила. Зато он показывает рабочую проблему: агент с доступом к командной строке выполняет команды, которых не было в его рассуждениях. Поэтому сетевые ограничения и подтверждение действий нужны любой модели. О причине можно будет судить после ответа Alibaba и независимых проверок.