anything llm에 연산 지원을 더 퍼주고싶어도 다른 서비스와 같은 기계에서 돌고 있어 지원을 그냥 퍼주면 나머지 서비스 응답속도가 떨어져 그럴. 수 없다. .......... 아 정말 llm 연산만 담당하는 기계와 서비스만 담당하는 기계를 하드웨어 수준에서 나누고싶음.
anything llm에 연산 지원을 더 퍼주고싶어도 다른 서비스와 같은 기계에서 돌고 있어 지원을 그냥 퍼주면 나머지 서비스 응답속도가 떨어져 그럴. 수 없다. .......... 아 정말 llm 연산만 담당하는 기계와 서비스만 담당하는 기계를 하드웨어 수준에서 나누고싶음.
If you have a fediverse account, you can quote this note from your own instance. Search https://hollo.woojinkim.org/@me/019c5f70-65e2-745c-b3c7-3bc81129c285 on your instance and quote it. (Note that quoting is not supported in Mastodon.)