Context Limitations

Ти коли-небудь помічав(-ла), що іноді ChatGPT забуває, про що ви говорили? Чому так відбувається? Це пов'язано з поняттям контексту.

Контекст у GenAI — це інформація, яку модель використовує для передбачення наступного токена (слів або частин слів). Вікно контексту (context window) відображає максимальну кількість токенів, яку модель може розглядати одночасно.

Контекст відіграє ключову роль у забезпеченні послідовності GenAI під час довготривалих розмов або виконання складних завдань. Він містить початкові інструкції та будь-яку поточну інформацію, що надається під час взаємодії людини та моделі GenAI. Чим більше контексту, тим точнішими та релевантнішими будуть відповіді моделі.

Однак, як тільки ліміт контекстного вікна вичерпано, модель виводить зі свого контексту старі токени, щоб звільнити місце для нових. Різні моделі роблять це по-різному. Одні видаляють найстаріші токени, інші — найменш релевантні середні сегменти, а ще інші можуть взагалі перестати відповідати.

Саме обмеженість контекстного вікна є причиною того, що GenAI може раптово «забути» попередні інструкції або втратити нитку розмови. Тому, коли ти користуєшся моделлю, ознайомся з розміром її контекстного вікна, щоб зрозуміти, чи відповідає він твоїм потребам. На момент написання цього модулю Claude 3 Opus має найбільше контекстне вікно (200 000 токенів), що робить його зручним для роботи з обʼємними документами.