Как големите езикови модели (LLM) генерират текст

Как големите езикови модели (LLM) генерират текст

Съдържание

Преди да пристъпим към обсъждане на LLM, нека разберем какво е условна вероятност.

Разглеждаме всбор от 14 души:

– Някои от тях обичат тенис 🎾

– Някои от тях харесват футбол ⚽️

– Някои харесват и двете 🎾 ⚽️

– А някои не харесват нито едното, нито другото.

Ето как изглежда:

LLM population

Какво представлява условната вероятност

Това е вероятността дадено събитие да се случи при положение, че друго събитие вече се е случило.

Ако събитията са A и B, означаваме това като P(A|B).

Това означава “вероятността за събитие А при положение, че има събитие В”.

LLM conditional

Например, ако прогнозираме дали днес ще вали (събитие А), знанието, че днес е облачно (събитие В), може да повлияе на прогнозата ни.

Тъй като вероятността за дъжд е по-голяма, когато е облачно, условната вероятност P(A|B) ще бъде висока.

Толкова за условната вероятност!

Как това се отнася за LLM като GPT4?

Задачата на LLM е да предскаже следващата дума в последователността.

Това е въпрос с условна вероятност: като се имат предвид предишните думи, коя е най-вероятната следваща дума?

LLM next

За да предскаже следващата дума, моделът изчислява условна вероятност за всяка възможна следваща дума, като се имат предвид предишните думи (контекст).

Думата с най-голяма условна вероятност се избира като предсказана.

LLM next prediction

LLM научава многомерното вероятностно разпределение за последователности от думи.

А параметрите на това разпределение са обучените тегла или по-скоро предварителното обучение е под наблюдение.

LLM loss

Надяваме се, че тази публикация е изяснила малко магията на LLM и концепцията за условна вероятност.

Оценете ни

0 / 5

Your page rank:

Вашият коментар

Вашият имейл адрес няма да бъде публикуван. Задължителните полета са отбелязани с *

Подобни публикации

Актуализации за GPT-3.5 Turbo и GPT-4

Актуализации за GPT-3.5 Turbo и GPT-4

Лабораторията за изкуствен интелект на OpenAI актуализира своите предложения за API за големи езикови модели (включително GPT-4 и GPT-3). Основните промени в GPT-3.5 🔻GPT-3 получи

Станислав Пеев

Станислав Пеев

Над 10 години опит в SEO оптимизацията и много сертификати /Yoast, Google, Semrush, Netpeak, Serpstat, Woorank и т.н./.
Работя с най-популярните SEO софтуери.
Имам участия в конференции и собствени статии публикувани в престижни SEO издания.

Портфолио
Creative
Нани Хоум
Nani Home
Станимир Михов фитнес инструктор
Stanimir Mihov
СЕО Услуги
Други услуги