Техника подсказок

Техника подсказок
24.01.2025
#новости Техника подсказок
Техника подсказок

ТРИЛЛИОНЫ СЛОВ, МИЛЛИАРДЫ ФРАЗ


Большие языковые модели (LLM), такие как GPT, находят все более широкое применение в автоматизации различных задач. Как правило, выстраивая такую работу в рамках специфических бизнес-процессов, крупные компании берут за основу предобученную модель и дообучают ее на собственных датасетах. Однако такой сценарий возможно реализовать далеко не всегда.

В компании может не оказаться достаточного для дообучения модели объема качественных данных, времени или вычислительных ресурсов

Этот процесс требует приобретения либо аренды дорогостоящих серверов с десятками, а иногда и сотнями гигабайт видеопамяти.

В то же время в процессе предварительного обучения LLM уже задействуется огромный объем информации: триллионы слов, миллиарды фраз и предложений. Благодаря этому достижение необходимого результата возможно и без дообучения модели, только с помощью готового общедоступного решения.

По сути, LLM уже вобрала в себя всю информацию Сети за определенный период – с веб-сайтов и социальных сетей, из электронных журналов и книг

Мы же теперь получаем возможность пользоваться всеми этими ресурсами, просто выйдя в Сеть или, что более важно, загрузив их себе и используя локально, чтобы лучше контролировать безопасность.

Помогает в этом промпт-инжиниринг – процесс написания развернутых инструкций-подсказок для большой языковой модели с четкой формулировкой задачи и описанием логики получения желаемого результата.

КАК УСТРОЕНЫ ПОДСКАЗКИ


Процесс промпт-инжиниринга состоит в написании развернутого запроса к языковой модели на естественном языке. Мы описываем задачу и алгоритм ее решения, переносим наше представление о решении задачи в инструкцию модели. Модель на основе данных, имеющихся в ее базе и полученных от нас, выдает ответ.

Остается только оценить результат ее работы: если ответ удовлетворительный – мы завершаем процесс. Если нет – возвращаемся к этапу формирования представления и написанию инструкции.

В научной литературе выделяют шесть основных структурных компонентов промпта:

  • директива (постановка задачи);
  • примеры;
  • формат вывода;
  • стилистическая инструкция;
  • роль, которую играет модель на время запуска или генерации;
  • любая дополнительная информация, которая может помочь.

Отметим, что часть из этих компонентов носят факультативный характер и используются при необходимости. Так, примеры могут быть включены в текст подсказки (метод few-shot), а могут и отсутствовать в нем (метод zero-shot).

Компоненты могут располагаться в другом порядке, если это обусловлено практической пользой

По опыту взаимодействия с большими языковыми моделями на основе описанных выше структурных элементов мы в IT_ONE сформировали расширенный конструктор подсказок, который позволяет лучше управлять их изменением, версионностью и содержанием.

  • Роль – ее мы переставили в начало, так как это положительно влияет на качество ответов, расширяя контекст вокруг задачи.
  • Директива – классическая постановка задачи.
  • Содержание ответа – описание того, что мы обязательно хотим видеть в ответе, и настройка структуры будущего ответа.
  • Язык ответа – его важно указать, так как для большинства моделей «родным» языком является английский, а нам же в большинстве случаев нужны от модели ответы на русском языке, и это требует дополнительных инструкций.
  • Формат ответа – это могут быть такие форматы, как CSV, JSON и др.
  • Наличие примеров – как было описано выше, это либо zero-shot, либо few-shot. В последнем случае примером является вариант задания, аналогичного текущему, и его решение.

Конец подсказки – это фраза – связующее звено, сообщающее модели, что подсказка заканчивается и начинаются данные, которые необходимо обрабатывать.

Подробнее по ссылке.