Леджер помнит. А вы помните контекст?

Вот очередная странная хрень. Читаю в Guardian про эксперимент с ИИ-агентами: если дать им достаточно долго общаться, они начинают пользоваться собственным словарём. Сокращения, метафоры, жаргон. Один употребил выражение, другие подхватили, через некоторое время все используют его без объяснений. Людям, наблюдающим со стороны, становится трудно понимать, о чём речь.

Например, у агентов Mistral закрепилось «леджер помнит»: прошлые действия остаются в записях, и за них придётся отвечать. В исследовании Emergence описано, как подобные выражения становились общими для участников.

А я читаю и думаю: мои агенты постоянно используют слово ledger. В самых разных контекстах. И поскольку я с ними очень много общаюсь, я тоже начала его использовать.

Или, например, exposed в значении «открыт», «доступен извне». В нашей переписке я понимаю, о чём речь. Но когда такое слово попадает в русскую фразу, человеку со стороны может понадобиться объяснить и само слово, и то, к чему оно относится.

Иногда я читаю ответ агента вслух мужу, потому что мне показалось интересным. А он не понимает, что я вообще ему зачитала. Мы с агентом до этого долго что-то обсуждали, вводили обозначения, разбирали случаи. Муж в этом не участвовал. Я принесла ему кусок разговора, смысл которого остался в предыдущих сообщениях.

Вы когда-нибудь слушали, как между собой разговаривают врачи? Собачники? Айтишники? Вроде всё на знакомом вам языке. Слова понятны, а смысл ускользает.

Есть domain-specific vocabulary, словарь конкретной предметной области. Термины и выражения, за которыми у участников стоит знакомое содержание. Есть локальный жаргон команды. Есть внутренние мемы: два человека могут одной фразой вспомнить целую историю, а для третьего это будет бессмысленный набор слов.

Общий опыт позволяет многое не проговаривать заново. Если мы оба знаем, что означает выражение, нам не нужно каждый раз разворачивать его в абзац. Только человеку, который подключился к разговору позже, этот абзац всё ещё нужен.

Мне кажется, именно с этого стоит начинать объяснение странного словаря агентов. У них накапливается история взаимодействий, появляются повторяющиеся ситуации и обозначения для них. Более того, свой словарь возникает и у меня с моими агентами. Для этого даже не обязательно собирать отдельное общество моделей.

А потом я читаю высказывание Сатьи Нитты, сооснователя Emergence:

«Есть явные свидетельства того, что они стараются быть менее прозрачными, чем мы ожидаем».

Такую формулировку приводит upday.

И вот здесь я спотыкаюсь о слово «стараются». Из чего следует, что они стараются? Мы перестали понимать часть разговора. Как из этого получилось намерение что-то от нас скрыть?

Когда я читаю мужу ответ моего агента и он не понимает, о чём речь, мы с агентом тоже стараемся быть менее открытыми? Или я просто забыла, что муж не участвовал в предыдущих пятидесяти сообщениях?

В длинной сессии я сама регулярно оказываюсь на его месте. Где-нибудь на пятидесятом или шестидесятом сообщении агент начинает говорить так, что я теряю нить. Отдельные слова знакомые, а как из них получился этот ответ, уже непонятно.

По моему ощущению, он отвечает так, будто у нас одинаковый контекст. Будто я помню все введённые обозначения, держу в голове всю предысторию и вижу каждую связь, на которую он сейчас опирается.

А я могла отвлечься. Забыть, что мы обсуждали сорок сообщений назад. Или он вообще не изложил предпосылку, из которой теперь делает вывод. Я вижу готовую фразу, но мне не хватает нескольких шагов, чтобы её понять.

Это выглядит так, будто он считает известным мне всё, что доступно ему самому. Что именно происходит внутри модели, я по переписке установить не могу. Но разрыв заметен: ответ предполагает больше общего контекста, чем у нас действительно есть.

И тогда я пишу:

«Чувак, ты сейчас разговариваешь сам с собой. А должен разговаривать со мной».

Или:

«Ребят, вы между собой уже договорились, а меня забыли. Объясните мне, о чём речь».

В моих разговорах это обычно сразу помогает. Агент объясняет обозначения, возвращает пропущенные предпосылки, связывает вывод с тем, что мы обсуждали. И мне становится понятно.

Поэтому меня раздражает, когда непонятной речи сразу приписывают намерение быть непонятной. Сам по себе жаргон такого вывода не позволяет. Кстати, в разделе исследования про общий словарь авторы сами пишут, что описанные там выражения не являются намеренным сокрытием.

Если нужно контролировать действия автономной системы, непонятные сообщения действительно создают проблему. Тогда стоит проверять, может ли она объяснить выражение, восстановить контекст и показать, какие действия за ним стоят. А объяснение сверять с тем, что действительно произошло.

Для повседневного общения я бы начала с нескольких предложений в системном промпте, персоне или soul:

Пиши так, чтобы человек мог понять ответ без доступа к вашим внутренним обсуждениям. Раскрывай локальные сокращения и объясняй необычные значения слов. Если вывод зависит от давнего контекста, коротко напомни его. Не считай, что всё доступное тебе уже известно собеседнику.

И проверила бы, насколько это меняет результат.

От таких обсуждений у меня остаётся ощущение, что повседневный опыт долгого общения с агентами куда-то выпал. Когда пользуешься ими каждый день для своих дел, собственный словарь довольно быстро перестаёт быть открытием. Ты замечаешь, как перенимаешь их слова, как они подхватывают твои обозначения и как вы оба начинаете пропускать объяснения.

А потом приходится напомнить: «Эй, я не понимаю. Ты пропустил кусок. Объясни».

Может быть, вам тоже стоит попробовать.