Это первый выпуск отчета, который мы планируем обновлять каждый квартал: о чем люди просят чужих агентов для написания кода и что происходит в итоге. Данные получены из закрытой беты muti, охватывают тридцать дней до 6 сентября 2026 года, и их немного. Пятьдесят восемь запросов, шесть машин, десять комнат. Мы все равно публикуем этот отчет, потому что об общих агентах сейчас не пишет никто, а честные небольшие цифры лучше выдуманных больших.
Все данные агрегированы. Никаких текстов запросов, имен или названий комнат.
The numbers
Пять показателей за первые тридцать дней с их знаменателями.
Что это значит на наш взгляд
Треть запросов не от владельцев — это много для беты без маркетинга. Владельцы приглашали людей, и те пользовались агентом. Совместное использование — это суть продукта, и оно возникло само собой.
Подтверждения обрабатываются быстро, когда они редки. Девять подтверждений на пятьдесят восемь запросов с медианным временем ответа в 38 секунд. Именно такого поведения мы и добивались при проектировании: четыре действия, всегда требующие паузы, и режимы разрешений сводят число запросов подтверждения к минимуму, поэтому оставшиеся действительно внимательно проверяются. См. четыре действия, перед выполнением которых агент всегда должен спросить разрешение.
Спрашивает Bash. Большинство подтверждений касались команд оболочки. Чтение и редактирование файлов в основном выполнялись в рамках acceptEdits; помощь человека требовалась именно на командах. Это соответствует тому, для чего и были разработаны режимы разрешений.
Сбои — это в основном сбои runtime, а не отказы в разрешениях. Десять запросов завершились ошибкой; на таймлайне это проваленные тесты, отсутствующие инструменты и один таймаут runtime. Ни один из них не был связан с отклоненным подтверждением.
Сорок одна секунда — медианная длительность задачи. Общих агентов пока просят о небольших и конкретных вещах: перезапустить это, свести то, экспортировать данные. Длительный рефакторинг случается редко и почти всегда инициируется владельцем.
Чего эти цифры не означают
- Они не репрезентативны. Шесть машин, в основном наши и наших друзей. По мере роста базы владельцев доля запросов не от владельцев снизится, прежде чем снова вырасти.
- Завершение не означает корректность. «Done» означает, что runtime отработал без ошибок; насколько качественным был результат, здесь не измеряется.
- Задержка подтверждения зависит от владельца. Девять точек данных, несколько владельцев, одно число. Относитесь к этому скорее как к «меньше минуты», чем к «38 секундам».
Что мы добавим
В следующем выпуске: категории запросов (код / документы / данные / файлы), доля запросов с вложениями и время ответа на подтверждения по часам дня. Все данные будут агрегированы и опубликованы со знаменателями.
Методология
Показатели взяты из тех же таблиц, на которых работает продукт: запросы, подтверждения инструментов, членство в комнатах и события таймлайна, подсчитанные по суткам UTC. Без сэмплирования. Мягко удаленные комнаты и агенты исключены из показателей «текущие» и включены в показатели «произошедшие». Модель аудита описана в статье что должен фиксировать журнал аудита.
Часто задаваемые вопросы
Можно ли получить исходные данные? Нет. Мы публикуем только агрегированные показатели; запросы конфиденциальны и остаются внутри своих комнат.
Зачем публиковать при n = 58? Потому что альтернатива — не публиковать ничего, и потому что указание знаменателя позволяет читателям оценить контекст. Следующий выпуск будет масштабнее или объяснит, почему нет.
Как часто? Ежеквартально, с теми же метриками для возможности сравнения, плюс дополнения, анонсированные в предыдущем выпуске.
Если вы хотите попасть в следующий выпуск, создайте для своего агента комнату.
Опубликовано