
Техника подсказок
Техника подсказок
24.01.2025
#новости


ТРИЛЛИОНЫ СЛОВ, МИЛЛИАРДЫ ФРАЗ
Большие языковые модели (LLM), такие как GPT, находят все более широкое применение в автоматизации различных задач. Как правило, выстраивая такую работу в рамках специфических бизнес-процессов, крупные компании берут за основу предобученную модель и дообучают ее на собственных датасетах. Однако такой сценарий возможно реализовать далеко не всегда.
В компании может не оказаться достаточного для дообучения модели объема качественных данных, времени или вычислительных ресурсов
Этот процесс требует приобретения либо аренды дорогостоящих серверов с десятками, а иногда и сотнями гигабайт видеопамяти.
В то же время в процессе предварительного обучения LLM уже задействуется огромный объем информации: триллионы слов, миллиарды фраз и предложений. Благодаря этому достижение необходимого результата возможно и без дообучения модели, только с помощью готового общедоступного решения.
По сути, LLM уже вобрала в себя всю информацию Сети за определенный период – с веб-сайтов и социальных сетей, из электронных журналов и книг
Мы же теперь получаем возможность пользоваться всеми этими ресурсами, просто выйдя в Сеть или, что более важно, загрузив их себе и используя локально, чтобы лучше контролировать безопасность.
Помогает в этом промпт-инжиниринг – процесс написания развернутых инструкций-подсказок для большой языковой модели с четкой формулировкой задачи и описанием логики получения желаемого результата.
КАК УСТРОЕНЫ ПОДСКАЗКИ
Процесс промпт-инжиниринга состоит в написании развернутого запроса к языковой модели на естественном языке. Мы описываем задачу и алгоритм ее решения, переносим наше представление о решении задачи в инструкцию модели. Модель на основе данных, имеющихся в ее базе и полученных от нас, выдает ответ.
Остается только оценить результат ее работы: если ответ удовлетворительный – мы завершаем процесс. Если нет – возвращаемся к этапу формирования представления и написанию инструкции.
В научной литературе выделяют шесть основных структурных компонентов промпта:
- директива (постановка задачи);
- примеры;
- формат вывода;
- стилистическая инструкция;
- роль, которую играет модель на время запуска или генерации;
- любая дополнительная информация, которая может помочь.
Отметим, что часть из этих компонентов носят факультативный характер и используются при необходимости. Так, примеры могут быть включены в текст подсказки (метод few-shot), а могут и отсутствовать в нем (метод zero-shot).
Компоненты могут располагаться в другом порядке, если это обусловлено практической пользой
По опыту взаимодействия с большими языковыми моделями на основе описанных выше структурных элементов мы в IT_ONE сформировали расширенный конструктор подсказок, который позволяет лучше управлять их изменением, версионностью и содержанием.
- Роль – ее мы переставили в начало, так как это положительно влияет на качество ответов, расширяя контекст вокруг задачи.
- Директива – классическая постановка задачи.
- Содержание ответа – описание того, что мы обязательно хотим видеть в ответе, и настройка структуры будущего ответа.
- Язык ответа – его важно указать, так как для большинства моделей «родным» языком является английский, а нам же в большинстве случаев нужны от модели ответы на русском языке, и это требует дополнительных инструкций.
- Формат ответа – это могут быть такие форматы, как CSV, JSON и др.
- Наличие примеров – как было описано выше, это либо zero-shot, либо few-shot. В последнем случае примером является вариант задания, аналогичного текущему, и его решение.
Конец подсказки – это фраза – связующее звено, сообщающее модели, что подсказка заканчивается и начинаются данные, которые необходимо обрабатывать.
Подробнее по ссылке.