LLM들은 왜 해마 이모지에서 이상 행동을 보일까?
------------------------------
- 최신 LLM 들이 *실제로 존재하지 않는 해마 이모지* 를 100% 확신하며 존재한다고 답변하고, 이를 출력하려다 잘못된 이모지를 반복 생성하는 현상이 발생
- 모델은 "해마 + 이모지" 개념의 *잔차 표현(residual representation)* 을 구축하려 하지만, 실제로 해당 토큰이 존재하지 않아 lm_head가 유사한 다…
------------------------------
https://news.hada.io/topic?id=23487&utm_source=googlechat&utm_medium=bot&utm_campaign=1834
If you have a fediverse account, you can quote this note from your own instance. Search https://sns.lemondouble.com/notes/adkwo3f2s7 on your instance and quote it. (Note that quoting is not supported in Mastodon.)
ㅋㅋㅋㅋㅋㅋ
