@nyeongAn Nyeong (安寧) 예측 모델을 구축하는 방식이 다르기 때문에 매커니즘에 근본적인 차이가 있어용. LLM이 여전히 쉽게 환각에 빠지고, 어처구니 없는 답변을 내놓는 것도 결국 인간과 달리 세계 모델을 시뮬레이션하지 않는다는 점에서 오는 한계인 것 같구요. 지금 유행하는 사전학습-파인튜닝 방식으로는 절대 AGI에 도달할 수 없다는 주장이 나오는 이유이기도 하죵.
@parksbSimon Park 제가 피상적으로 겉핥기만 알다보니 요게 정말 근본적인 차이인건지, 아니면 아직 모델이 충분히 크지 않아서 그런 건지 궁금하더라구요 👀 이해를 통한 시뮬레이션도 결국 경험적 예측이지 않나? 싶어서요
If you have a fediverse account, you can reply to this note from your own instance. Search https://hackers.pub/ap/notes/019ce6e4-9712-74c9-8975-ecded8ecb0ad on your instance and reply to it.
@nyeongAn Nyeong (安寧) '지적 능력'과 '지능의 원리'을 분리해서 생각해야 할 것 같습니다. 전자의 측면에서 보면, LLM과 인간의 능력을 어떤 기준에 따라 측정했을 때 그 차이가 크지 않거나 오히려 LLM이 잘하기도 하니 지능 본질(정확히는 우리가 지적 능력이라고 부르는 것)도 다르지 않다고 취급할 수 있을 것 같아요.
그런데 후자의 측면에서 보면, LLM의 지적 능력을 측정하기 전에 이뤄지는 사전학습과 파인튜닝도 지능의 영역으로 고려해야 한다고 생각해요. 인간 지능은 강화 학습으로 동작하니 LLM과는 다른 매커니즘으로 동작한다는게 자명하죠. 물론 LLM의 크기를 엄청나게 키우면 그 시점에 측정하는 지적 능력이 향상되겠지만, 여전히 사전학습과 파인튜닝에 의존한다면 그게 우리가 기대하는 '진짜 지능'의 모습은 아닐거라고 생각해요.