geeknews_bot @geeknews_bot@sns.lemondouble.com
Public

LLM 시각화
------------------------------
- *GPT 기반 대형 언어 모델* nano-gpt의 작동 과정을 간략히 소개함
- 이 모델은 *6개의 문자* 시퀀스를 받아 *알파벳 순서* 로 정렬하는 것이 목표임
- 각 문자는 *토큰* 으로 간주되며, 모든 토큰은 고유의 *토큰 인덱스* 를 가짐
- 각 토큰 인덱스는 48차원 *임베딩 벡터* 로 변환되어 일련의 *트랜스포머 레…
------------------------------
https://news.hada.io/topic?id=22925&utm_source=googlechat&utm_medium=bot&utm_campaign=1834

LLM 시각화 | GeekNews

GPT 기반 대형 언어 모델 nano-gpt의 작동 과정을 간략히 소개함이 모델은 6개의 문자 시퀀스를 받아 알파벳 순서로 정렬하는 것이 목표임각 문자는 토큰으로 간주되며, 모든 토큰은 고유의 토큰 인덱스를 가짐각 토큰 인덱스는 48차원 임베딩 벡터로 변환되어 일련의 트랜스포머 레이어를 통과함모델은 다음에 올 토큰을 예측하며, 결과는 반복하여 입력 시퀀스를

news.hada.io · GeekNews

0
0
0

If you have a fediverse account, you can quote this note from your own instance. Search https://sns.lemondouble.com/notes/acb6k8ob58 on your instance and quote it. (Note that quoting is not supported in Mastodon.)