伊勢あくらふ @Aqraf@m.aqr.af
Public

GPTとは何か Transformerの視覚化 | Chapter 5, Deep Learning - YouTube
youtube.com/watch?v=KlZ-QmPteq

GPT3 では、単語 (トークン) ごとに 12,288 次元の意味を持たせるように事前学習されているらしい

単語が持つ「色」とか「大きさ」とか「怖い」とか「かわいい」などの意味を数値化したものを単語ごとに 12,288 種類用意してあり、これだけあれば言葉の持つ意味全てを収納できるってことらしく、すっげえなという感じ

1
0
0

If you have a fediverse account, you can quote this note from your own instance. Search https://m.aqr.af/users/Aqraf/statuses/114727953267396233 on your instance and quote it. (Note that quoting is not supported in Mastodon.)