리눅스 랩탑(amdgpu, rocm)에서 ollama 써서 아주 잠깐 로컬 LLM 시도해 본 소감: 생각보다 잘 되는데, 한편으로 왜 OpenAI 의 적자가 저렇게 터무니없는 규모라는 것인지도 이해했다. 어디가 병목인지는 알겠는데 그래서 그에 대한 대응책은 GPU 를 증설하기 시작해서 그냥 많이 증설했습니다. 를 하고 있다는 것이군 진짜로… 이게 인류의 갈 길이라니… 사이버펑크보다 현실이 더 사이버펑크다
If you have a fediverse account, you can reply to this note from your own instance. Search https://hackers.pub/ap/notes/019a674c-8913-7620-a90e-5189e66744ad on your instance and reply to it.
@bglbgl gwyng 오 그렇군요. 혹시 회사 경비처리로 가능하시다면, 요즘 클라우드 남의 컴퓨터 빌려서 고성능 GPU 잠깐 쓰고 반납하는 것도 쉬워졌으니까 한번 시도해 보시면 어떨까요. 시험 삼아 해 보고 잘 되면 해당 모델의 GPU 구매로 진행하실 수 있는 것이니…