Как големите езикови модели (LLM) генерират текст

Преди да пристъпим към обсъждане на LLM, нека разберем какво е условна вероятност.

Разглеждаме всбор от 14 души:

– Някои от тях обичат тенис 🎾

– Някои от тях харесват футбол ⚽️

– Някои харесват и двете 🎾 ⚽️

– А някои не харесват нито едното, нито другото.

Ето как изглежда:

Какво представлява условната вероятност

Това е вероятността дадено събитие да се случи при положение, че друго събитие вече се е случило.

Ако събитията са A и B, означаваме това като P(A|B).

Това означава “вероятността за събитие А при положение, че има събитие В”.

Например, ако прогнозираме дали днес ще вали (събитие А), знанието, че днес е облачно (събитие В), може да повлияе на прогнозата ни.

Тъй като вероятността за дъжд е по-голяма, когато е облачно, условната вероятност P(A|B) ще бъде висока.

Толкова за условната вероятност!

Как това се отнася за LLM като GPT4?

Задачата на LLM е да предскаже следващата дума в последователността.

Това е въпрос с условна вероятност: като се имат предвид предишните думи, коя е най-вероятната следваща дума?

За да предскаже следващата дума, моделът изчислява условна вероятност за всяка възможна следваща дума, като се имат предвид предишните думи (контекст).

Думата с най-голяма условна вероятност се избира като предсказана.

LLM научава многомерното вероятностно разпределение за последователности от думи.

А параметрите на това разпределение са обучените тегла или по-скоро предварителното обучение е под наблюдение.

Надяваме се, че тази публикация е изяснила малко магията на LLM и концепцията за условна вероятност.