Как устроены чат-модели

Когда вы общаетесь с ChatGPT или Claude, вы работаете с большой языковой моделью (LLM). Если понимать, как она устроена, пользоваться ею получается гораздо лучше.

1. Текст делится на токены

Модель читает текст не буквами и не словами, а токенами — словами или частями слов. Например, «изучаем» может разбиться на «из», «уча», «ем».

Русский и узбекский обычно делятся на большее число токенов, чем английский. Поэтому через API такой текст немного дороже и меньше помещается в контекст.

2. Модель предсказывает следующий токен

Главная задача LLM проста: «Какой токен вероятнее всего идёт после этого текста?» Она выбирает один токен, добавляет его к тексту и повторяет. Длинный ответ — это тысячи таких повторов.

3. Откуда берётся умение

Предобучение: модель тренируется предсказывать следующий токен на триллионах токенов книг, статей и кода из интернета. Так она «усваивает» грамматику, факты и логику.

Настройка: затем люди с помощью примерных диалогов и оценок превращают модель в полезного, вежливого и безопасного помощника.

4. Контекстное окно

Модель «видит» только текст в контекстном окне: системную инструкцию, историю диалога, загруженные документы и ваш вопрос. В очень длинном диалоге начало может «забыться». Напоминайте важное.

5. Почему она ошибается

Модель создаёт не «истину», а «вероятный текст». Если точного ответа в обучающих данных не было, она может сочинить убедительный, но неверный ответ. Поэтому:

• проверяйте важные факты;
• давайте модели документ и пишите «отвечай только по этому документу» (это идея RAG);
• добавляйте «если не знаешь — так и скажи».

Глубже

Если вы программист, напишите маленький GPT с нуля по курсу Андрея Карпаты Neural Networks: Zero to Hero. Видео 3Blue1Brown объясняют то же самое без формул, на красивых анимациях. Оба есть в каталоге.