Вы потратили час, подробно объясняя нейросети задачу. Собрали все факты, дали примеры, уточнили детали. Кажется, вот он, идеальный помощник, который все понял. Вы задаете следующий вопрос, а в ответ…
…нейросеть будто впервые вас видит. Она задает вопросы, на которые вы уже отвечали, или предлагает идеи, которые вы отвергли в самом начале. Знакомо до боли, правда?
Что происходит? Неужели нейросеть просто «глупеет» со временем или у нее плохая память? На самом деле, все и проще, и сложнее одновременно. И дело совсем не в памяти.
Почему так происходит: метафора окна внимания
Представьте, что весь ваш диалог с ИИ — это длинный-длинный бумажный свиток. Все, что вы написали, и все, что он ответил, аккуратно записано по порядку. Но есть одна деталь: искусственный интеллект не читает весь свиток целиком.
У него есть только небольшое «окно», через которое он смотрит на этот текст. Это окно называется контекстным окном. Когда вы начинаете чат, свиток короткий, и он легко помещается в это окно. ИИ видит все от начала до конца.
Но чем дольше вы общаетесь, тем длиннее становится свиток. Окно при этом остается того же размера. И оно смещается все ниже и ниже, к самым последним сообщениям. Начало разговора просто оказывается за пределами видимости.
ИИ не забыл, о чем вы говорили. Он этого просто физически не видит в данный момент. Для него существует только та часть диалога, которая помещается в его окно внимания. Все, что было до этого, как будто и не происходило.
Подождите, а почему это окно просто не сделать больше?
Это главный вопрос, который тут же возникает. И ответ на него — цена. Каждый символ, который попадает в это окно, требует вычислительных ресурсов. Чем больше окно, тем «тяжелее» нейросети думать.
Представьте, что вам нужно одновременно держать в голове не два последних предложения собеседника, а весь ваш часовой разговор слово в слово. Это невероятно сложно. Для ИИ это означает замедление работы и огромные затраты на вычисления.
Поэтому разработчики ищут баланс: сделать окно достаточно большим для большинства задач, но не настолько огромным, чтобы работа с моделью стала мучительно медленной и дорогой. И да, эти окна постоянно увеличиваются с выходом новых версий моделей, но они никогда не будут бесконечными.
Что делать, чтобы ИИ вас не забывал
Раз уж мы не можем растянуть окно, мы можем научиться им управлять. Это как помогать человеку с короткой памятью, постоянно напоминая ему о самом важном. Вот несколько рабочих приемов.
Прием 1: Помощник-стенографист
Как делать: Когда вы чувствуете, что диалог стал длинным, попросите ИИ сделать краткую выжимку самого главного. Скажите ему: «Давай подведем итог. Вот ключевые моменты нашего разговора: …». А еще лучше — попросите его самого это сделать.
> Сделай краткое резюме нашего диалога в виде списка. Укажи главную цель, основные факты, которые я тебе предоставил, и ключевые решения, которые мы приняли.
Результат: Эта сводка окажется в конце чата, то есть точно попадет в «окно внимания». Вы как бы заново кладете перед ИИ все важные документы.
Прием 2: Основной документ
Как делать: В самом начале большого проекта создайте «конституцию» вашего чата. Это промпт, в котором перечислены все базовые правила, факты, ваша роль, его роль, цели и ограничения. И периодически вставляйте этот текст в диалог со словами «Напоминаю наши основные правила»
> Ты — редактор блога о садоводстве. Я — автор. Наша цель — написать статью о выращивании роз для новичков. Стиль — простой, дружелюбный. Не используй сложные термины. Всегда предлагай три варианта заголовка.
Результат: ИИ всегда будет иметь под рукой основной свод правил и не отклонится от курса, даже если начало диалога уже «уехало» из его поля зрения.
Прием 3: Правило чистого стола
Как делать: Это самый простой и часто самый эффективный способ. Если у вас появляется новая, не связанная с предыдущей задача — просто начните новый чат. Не пытайтесь в одном диалоге писать статью, потом планировать отпуск, а затем просить рецепт пирога.
Результат: Вы не забиваете «окно внимания» ненужной информацией. Каждая задача решается в своем чистом пространстве, и ИИ не путается в контексте. Это как начинать новый проект за чистым столом, а не на груде старых бумаг.
Коротко о главном
- ИИ не «забывает» начало диалога — он его просто перестает видеть из-за ограниченного «окна внимания» (контекстного окна).
- Размер этого окна — это компромисс между возможностями и стоимостью вычислений. Сделать его бесконечным пока невозможно.
- Чтобы ИИ помнил главное, ему нужно помогать: периодически делать резюме диалога, напоминать об основных правилах или просто начинать новый чат для новой задачи.
