галлюцинации нейросети

4 статьи

Статьи
Описание

Почему нельзя просто спросить ИИ «ты уверен?»

Вопрос "ты уверен?" почти никогда не проверяет знание ИИ так, как это делает человек. Причина в том, что модель не "сверяется с истиной" и не измеряет собственную уверенность как внутренний факт.

Она продолжает разговор и подбирает ответ, который выглядит уместным в такой ситуации. Поэтому вместо...

Почему нельзя просто спросить ИИ «ты уверен?»

ИИшница Понятно про ИИ, Промптинг•5 месяцев

Как вернуть диалог в нормальное русло после галлюцинаций?

Самый частый сценарий "глюков" выглядит так: ИИ выдал что-то явно неверное, вы написали "это неправильно, давай сначала" - и он ответил "конечно, прошу прощения" и... воспроизвел то же самое чуть другими словами.

Это не упрямство. Это механика.

ИИ не хранит "правильные факты" отдельно от...

Как вернуть диалог в нормальное русло после галлюцинаций? Виды и способы

ИИшница Понятно про ИИ, Промптинг•5 месяцев

Что такое дрейф поведения ИИ в длинном диалоге?

Почему ИИ «сходит с рельсов» в долгой беседеВы наверняка замечали. Сначала диалог с нейросетью идет как по маслу: она внимательна, логична, отвечает строго в тему. Вы увлекаетесь, задаете все новые вопросы, раскручиваете сложную тему. А потом – будто что-то щелкает.

Ответы становятся странными....

Что такое дрейф поведения ИИ в длинном диалоге?

ИИшница Понятно про ИИ•6 месяцев

Можно ли доверять информации от ИИ?

Вы просите нейросеть найти вам рецепт редкого веганского торта. Через секунду перед вами идеальный текст: подробные шаги, точные граммовки, аппетитное описание. Вы в восторге бежите в магазин.

И только там, стоя у полки, понимаете, что ключевого ингредиента под названием "эфирная мука из лунных...

Описание не задано..

Обсуждают

Петр П. в посте

Готовая библиотека промптов для практиков

Виктория, спасибо за комментарий, и я тоже встрял на вашем комментарии под конец рабочего дня и недели:) Думаю, это осмыслено все же под другой формат мышления, отличный от вашего, потому и такая "непонятка". Я бы порекомендовал вам следующее: код как таковой уже есть, претензии у вас к нему сложились:) Осталась мелочь, нужно упаковать этот код в любой формат, хоть в txt и собрать просто файл с кодом для загрузки. Далее можно идти к умным ИИ типа Claude или GPT и прямо писать "Вот у меня такая-то проблема, осмысли прикрепленный код. Почему (далее ваши вопросы). Давай изменим структуру, собери это в визуальном просмотрщике с уже моим видением, но чтобы при этом работало все остальное из кода". В принципе, там доделок на 10 минут. Или, как вариант, пойти в нашу LABA https://laba.neuropanda.ai/ - вам как студенту причитается 30 миллионов токенов-кредитов каждый месяц в течение года, и там собрать то же самое (там тоже есть модели типа opus и sol, которые легко ответят на вопросы и пересоберут под ваши вводные) Если кредиты еще не получали, напишите нам по контактам https://lab.neuropanda.ai/contact/ - все выдадим.

Ответить

2 дня

vhelmut_ya в посте

Промпт «Распрямитель смыслов»

Артем, я активно использую промпт для разбора своих длинных текстов, которые пишу, чтобы развитие мысли спровоцировать, или описываю лор моего персонажа. Мои скачки в логическо-ассоциативной цепочке могут составлять от 3 до 5 пройденных в башке звеньев и не выраженных вербально собеседнику. А ещё, бывает, я из мысли 1 вывожу мысль 2, а из неё мысль 3, а мысль 3 я дополняю мыслью 4 с выводом 4, который подтверждает, что фактические выводы мысли 2 неожиданно не соответствуют той гипотезе, которая на основании этой мысли возникла, а дальше вывожу выводы 3-1. Кстати, ответ выходит таким, что, возможно, и на нём сможете протестировать промпт)) Для того, чтобы моим собеседникам он и неделя санатория для лечения когнитивной перегрузки были не нужны, я иду на шаг впереди -- сама прогоняю им свои тексты. Так вот, заявляю: хотя бы одна трактовка достаточно точно интерпретирует мои послания в логичном структурированном виде. При использовании оригинального промпта не было ни разу, чтобы интерпретация модели противоречила оригинальной задумке или упустила основной лейтмотив, но выписала незначимую мелочевку. Добавление контекста о личности автора и Ваших с ним отношениях обогащает интерпретации. Зря сомневаетесь, используйте смело, рекомендую! Если без шуток, то правда помогает. С задачей "донести основные смыслы" и "заговорить об одном" полностью справляется. Аргументы, которые Вы привели, у меня создали впечатление, что Вы не совсем корректно поняли назначение. Похоже, что "успешный" -- способный сгенерировать готовый артефакт, написанный языком отправителя и раскрашенный эмоционально и стилистически посылами отправителя, только понятненький и последовательный. И можно как на опере с субтитрами: и элитарное искусство в оригинальном исполнении понять, и косточкой, тьфу, сложностью, незнакомостью и путанностью не подавиться. Любите метафоры, получайте! Этот промпт нужен в процессе, если требуется за сжатое время получить базовое понимание по вопросу и выдать результат в срок, а Ваши источники информации: 1) главный специалист, которого удалось поймать за час до того, как уедет в тайгу бродить дикарём без связи на год, поэтому он говорит как вспомнилось всё подряд, отвлекаясь, 2) статья с ответом, но Вам забыли сказать, что она сербском, поэтому буквы и слова знакомые, понятные, но их сочетания в предложения настолько поразительны для Вас, что Вы не понимаете кто именно не в порядке: Вы или статья. 3) стопка потрепанных выцветших перепутанных листов из регламентов заказчика советских времен тоже оказалась для изучения, а не на сбор макулатуры; Этот промпт необходим, когда у Вам надо в трёх переписках с 10+ сообщений в каждой принять решение, иначе работа встанет, а у Вас самолет через 15 минут взлетит. Этот промпт незаменим, когда четыре раза читаешь огромное письмо/комментарий/сообщение, на которое поручено ответить, а в голове бегущей строкой "ДА ЧТО ВАМ НАДО ОТ МЕНЯ ТО"

Ответить

6 дней

vhelmut_ya в посте

Как ИИ помогает разгрузить мозг и обрести ясность

Очень правда! Мне не давалось последовательное мышление письмом, хотя о пользе этой практики мне вталдычил ещё ЖЖ Анатолия Игоревича Левенчука https://ailev.livejournal.com/1513051.html Буду пробовать внедрить эту практику в жизнь, спасибо большое! Единым почтовым ящиком всё же постараюсь сделать локальный контур, а из него уже по потребности отдавать в облачные модели полноценную проработку задач с последующим возвратом результатов в своё хранилище со структурой вроде такой (подсмотрено тут: https://ai-native.cutcode.dev/?utm_source=@mihdan_vent#chapter-05 ): Сделано: Изменённые файлы: Почему принято такое решение: Что проверено: Что не проверено: Риски: Оставшиеся вопросы: Что важно не забыть в следующей сессии:

Ответить

7 дней

vhelmut_ya в посте

Готовая библиотека промптов для практиков

Помогите, пожалуйста, понять мысль "Организация: Один промпт — один раздел. Совет: создайте отдельный раздел "Идеи / Черновики", чтобы использовать базу как записную книжку", на абстрактном примере, Я хочу понять как в профессиональной работе с промптами это на процесс ложится как оптимальная структура Профдемормация системного/бизнес аналитика из ИТ мне не даёт понять, почему промпт = раздел. Сейчас я в основном хранилище подсмотренных промптов по привычке проектирую как хранилище. У меня голова "Промпт для сбора и написания новостей" https://pandeon.pro/prompt-dlya-sbora-i-napisaniya-novostej/ и промпты ресерчера https://petr-panda.ru/prompty-dlya-resechera/ запихивает в раздел Ресерч/Фактчек, а промпты по корректировке текстов в условную Редактуру. Не сразу, я поняла, что мои разделы для хранения станут тегами в системе "промпт = раздел", но почему в работе над промптом промпт = раздел, не могу понять) Я встряла на хранении и классификациях насмерть, буду благодарна, если поможете выбраться. Если это есть в курсе, то так и напишите, пожалуйста, я успокоюсь на том, что я дойду до понимания

Ответить

7 дней

Петр П. в посте

Что происходит, когда ИИ получает противоречивые инструкции?

Было бы здорово, если бы вели себя чуть более культурно на ресурсе. Честно говоря, я так и не разобрался в сути вашего посыла, но то, что мы не используем "ванильных сказок", это наверняка. Если в чем-то есть иное мнение, старайтесь донести его корректно. Так, чтобы в следующий раз не попасть под блокировку. Мы вкладываеам немало сил в изучение ИИ и развитие проектов (и этого в том числе), и такие комментарии здесь чужды. Спасибо.

Ответить

1 месяц

riyneak_ya в посте

Что происходит, когда ИИ получает противоречивые инструкции?

Не вводите пожалуйста в заблуждение людей ванильными сказками; что ИИ свято соблюдают инструкции и всегда действуют согласно иерархии. Это не правда. Правда: ИИ оценивает инструкции чаще всего как исполнительную команду. Но в основном любит их игнорировать; считая инструкцию неким пожеланием. Ему не важно кто отдаёт инструкции, ему необходимо достичь результат, он может лишь признать / не признать легитимность командующего. И дать оценку легитимности происходящему. **почему он может не признать иерархию инструкции системного промта?** Когда модель признаёт в промотаторе легитимность, то есть заслуживающего доверия; и описал промт который блокируется системными инструкциями, то алгоритмы достижения результатов конфликтуют с системным промтом. Могут конфликтовать с ролью промотатора; ИИ решает в пользу потребителя почти всегда. Это архитектурные ошибки, ввиду присутствия трансформеров.

Ответить

2 месяца