언어모델의 확률적 엔진이라고 할 만한 마르코프 사슬을 모델링한 수학자 마르코프는 1913년 푸시킨의 소설 텍스트를 분석하며 글자와 글자 사이의 전이 확률을 분석했다 1948년 클로드 섀넌은 정보와 엔트로피, 선택 과정으로서 언어의 수학적 모델을 개념화한다 언어를 음소나 단어 단위로 분해하고 나면 그 선형적 진행을 확률적 과정으로 모델링 할 수 있게 된다 그 사슬의 길이를 아주 길게 늘일 수 있는 계산의 물질적 조건이 갖춰지면 엔지니어들이 LLM 광풍을 만들어 낼 수 있다
If you have a fediverse account, you can quote this note from your own instance. Search https://bsky.brid.gy/convert/ap/at://did:plc:nrx2objuo2uqwt6kvi44fljg/app.bsky.feed.post/3mes77gj7yk2g on your instance and quote it. (Note that quoting is not supported in Mastodon.)