리눅스 랩탑(amdgpu, rocm)에서 ollama 써서 아주 잠깐 로컬 LLM 시도해 본 소감: 생각보다 잘 되는데, 한편으로 왜 OpenAI 의 적자가 저렇게 터무니없는 규모라는 것인지도 이해했다. 어디가 병목인지는 알겠는데 그래서 그에 대한 대응책은 GPU 를 증설하기 시작해서 그냥 많이 증설했습니다. 를 하고 있다는 것이군 진짜로… 이게 인류의 갈 길이라니… 사이버펑크보다 현실이 더 사이버펑크다
@xtjuxtapose 회사에 있는 나름 메모리 빵빵한 GPU로 돌려봤는데, 정말 돌아가기까지만 하더라고요. 사내 로컬 코딩 에이전트 스웜같은거 만드려면 웬만큼 본격적이어선 안되겠더라고요.
If you have a fediverse account, you can quote this note from your own instance. Search https://hackers.pub/ap/notes/019a674c-8913-7620-a90e-5189e66744ad on your instance and quote it. (Note that quoting is not supported in Mastodon.)