#Отчёты и цифры4 мин

GDPx: 206 профессиональных заданий для ИИ-агентов

В новом тесте GDPx лучший общий результат ИИ-агентов составил 12%. SemiAnalysis сравнивает модели в 11 профессиональных направлениях, от разработки программ до проектирования чипов.

GDPx: 206 профессиональных заданий для ИИ-агентов
Коротко
  • В GDPx входят 206 заданий из 11 направлений; результат можно посмотреть по отдельным областям.
  • Результат 12% относится к этому сложному набору заданий, а не ко всей работе бизнеса.
  • Для выбора помощника полезно смотреть на нужную область и отдельно проверять собственную задачу.

В рабочих заданиях помощнику приходится разбираться в документах и искать нужные сведения. Поэтому полезно сравнивать модели на задачах своей профессии. Новый GDPx собирает такие сравнения по разным направлениям.

Что проверяет GDPx?

Тест GDPx от SemiAnalysis посвящён профессиональной работе ИИ-агентов. На официальной странице представлены 206 заданий в 11 направлениях, включая разработку программ, проектирование оборудования, финансы и право.

В общей таблице можно сравнить модели, а затем переключиться на отдельные направления. Рядом есть график результата и средней стоимости выполнения задачи: он помогает увидеть, за какое качество платит пользователь.

Слово «агент» здесь означает помощника, который выполняет последовательность действий. Если термин пока непривычен, начните с нашего объяснения ИИ-агентов и ассистентов.

Почему лучшая оценка получилась всего 12%?

По данным SemiAnalysis, лучший общий результат на GDPx составил 12%. Это оценка на специально подобранных сложных заданиях. Она не означает, что нейросети способны выполнить только такую долю всех задач в компании.

На официальной странице у Claude Opus 5.5 указаны 12 баллов общего результата, у Gemini 4 Carbon 10,9, у GPT-6 Astra 9,6. Эти значения относятся к опубликованной таблице GDPx; универсальной оценкой полезности каждого помощника они не становятся.

Поэтому громкое число полезнее читать вместе с устройством испытания. Можно хорошо справляться с одним видом работы и заметно хуже с другим — общий рейтинг сгладит эту разницу.

Зачем смотреть отдельные направления?

Отдельные направления помогают сравнить модели по нужному виду работы. В GDPx есть, например, программирование, проектирование чипов и материаловедение. Выбор полезно связать с тем, что именно будет делать ваш помощник.

В собственной учебной задаче это можно представить так: сотруднику дали несколько файлов о продажах и попросили объяснить расхождение в отчёте. Ему нужно найти подходящий период, сопоставить источники и показать расчёт. Красивый ответ без этой проверки мало помогает.

Мы привели учебную ситуацию для пояснения. Собственного сравнительного запуска моделей у редакции не было.

Как выбрать ИИ для своей команды без гонки рейтингов?

Возьмите повторяющуюся рабочую задачу и заранее запишите, по каким признакам результат будет принят. Затем сравните помощников на одинаковых исходных данных, учитывая ошибки, время и стоимость доработки.

Для первого опыта хватит небольшого набора обычных и сложных случаев. Например, отчёт по полным данным, по файлам с пропуском и по двум противоречащим источникам. В последнем случае полезно увидеть уточняющий вопрос вместо выдуманного объяснения.

Такую проверку можно включить в обучение команды работе с ИИ. GDPx даёт повод внимательнее смотреть на самостоятельную работу помощников; решение о вашем процессе лучше опирать и на собственные примеры.

Источники

💬 Комментарии

Пока никто не написал. Будьте первым: расскажите, что оказалось полезным, а чего не хватило.
Ссылки в комментариях не публикуются.

📚Разбираем тему подробно

Все статьи

🗞Другие новости

Все новости