Йогурт, агенты и AGI

Просыпаюсь сегодня, ем свой йогурт, читаю новости. Попадается Bloomberg: Альтман рассказал сотрудникам, что OpenAI готова рассмотреть замедление разработки передовых моделей и надеется на участие других лабораторий.

Дочитываю и иду смотреть, что мои агенты наделали за ночь.

Один должен был просто сделать сиды для нескольких таблиц. По готовым материалам, с подробно описанными сущностями и связями между ними. Задача из разряда «любой джун за два часа сделает».

Местами справился. Местами не разобрался и насочинял. Причём выяснять, где заканчиваются исходные данные и начинается его творчество, теперь мне.

Другой должен был разобрать файлы и разложить по папкам. Этот, наоборот, в чём-то усомнился и остановился примерно в два часа ночи. До утра работа стояла.

Потом пошла мержить пулл-реквесты. В целом приемлемо, местами плохо. Несколько заходов на исправления, чтобы агент хотя бы соблюдал гайдлайны, которые ему уже предоставили.

При этом есть у меня агент, который радует меня каждое утро.

Он следит за успехами выпускников моего питомника. Надо найти публикации в соцсетях, скачать и слегка обработать фотографию, подготовить пост по шаблону и опубликовать. Но сначала разобраться, что из найденного вообще заслуживает публикации.

Значительным победам надо серьёзно порадоваться. Незначительные достижения достаточно отметить. Результаты некоторых выставок вообще не нужно публиковать на сайте. Для этого надо понимать, что произошло, чего стоит конкретный титул и как его получают.

Я некоторое время нанимала человека на эту работу. Если человек не был погружён в собаководство, даже подробно описанные правила постоянно вызывали сложности. Всё это надо было удерживать в голове и последовательно применять к каждой новой публикации.

А современные модели прекрасно разбираются. Даёшь базовые инструкции, регламент, положения о титулах, и утром агент показывает найденные за сутки записи, уже разложенные по категориям. С классификацией он ещё ни разу не ошибся.

То есть разобраться в собаководческих титулах и последовательно применять правила агент может. А сделать сиды по готовому описанию другой агент может не суметь, причём недостающие данные просто выдумает.

И вот эта непредсказуемость меня особенно озадачивает. По сложности задачи я даже не всегда могу понять, где он справится лучше человека, а где мне придётся переделывать.

Примерно так у меня начинается каждое утро. Иногда результаты радуют. Иногда я злюсь на сожжённые токены, в первую очередь на себя. Иногда результата вообще нет.

И каждый раз думаю: господи, как же мы всё ещё далеко от AGI.

Я много работаю с этими системами. Польза от них есть, иначе я бы не запускала их снова каждый вечер. Но я пока не могу уверенно поручить им даже вполне понятную работу и утром рассчитывать на корректный результат. Где надо уточнить, агент выдумывает. Где можно продолжать, останавливается и ждёт.

А потом я снова читаю про сверхразум и необходимость срочно замедлиться.

Я понимаю, что ненадёжный агент с доступом к системам может быть опасен. Вполне допускаю, что проблемы с контролем требуют реальных пауз. Но от этого мне не становится понятнее, почему мы должны считать близким универсальный интеллект, способный самостоятельно справляться с широким кругом задач.

Когда я говорю, что по моим ощущениям до AGI ещё далеко, перед глазами у меня весь этот опыт. Включая удачи. Мне трудно считать его близким, когда я каждый вечер гадаю, какую работу завтра получу: отличную, выдуманную или никакую.

Глядя на доступные мне генеративные модели на трансформерах, я совершенно не вижу будущих покорителей мира.

Может быть, внутри лабораторий уже существенно другие модели или архитектуры. Может быть, дело в ресурсах, обучении и условиях, в которых они работают. Может быть, мы смотрим на одни и те же результаты и очень по-разному оцениваем, что из них следует. Или в этих заявлениях гораздо больше хайпа, чем мне хотелось бы.

Но тогда хочется, чтобы этот разрыв объяснили. Что именно вы видите, чего не видят люди, которые каждый день пытаются сделать вашим продуктом обычную работу?

Потому что я пока доедаю йогурт и проверяю, не выдумал ли будущий сверхразум данные для трёх таблиц.