Post

@denis.evsyukov.org

Как на самом деле устроены большие языковые модели: от токенов до трансформера и дальше

research.evsyukov.orgКак на самом деле устроены большие языковые модели: от токенов до трансформера и дальшеКогда говорят про большие языковые модели, разговор почти всегда упирается в одно слово — трансформер. Это правда важная деталь, но если остановиться только на ней, картина получится перекошенной. Трансформер — это двигатель. А машина едет не на одном двигателе: нужны колёса, топливо, дорога и тот, кто крутил руль на этапе обучения. Эта статья разбирает всю конструкцию подробно: от базовых понятий — токенов и эмбеддингов — через внутреннее устройство трансформера со всеми его оптимизациями до обучения, масштаба и того, что иногда важнее самой архитектуры.

15/6/26, 9:13 am0 reposts0 likes

No replies yet.