저세상 음향연구소 17호기 @hanzo@meow.nyanpuppu.cat
Public

알아도 쓸모 없는 AI 관련 이야기

대형 GPU는 대형 PC가 필요하지 않다
https://news.hada.io/topic?id=25213

가정용 추론 환경에서는 대충 맞는 이야기이긴 하지만 대역폭은 가능한 넓게 잡는것이 좋습니다. 전반적인 의견을 종합하면 아무리 못해도 GPU 1개당 PCI-e 3.0 4x 또는 PCI-e 4.0 2x 정도를 확보해주는 것이 좋다고 합니다.

가정용 추론 환경을 벗어나는 규모가 되면 컴퓨터 메인보드부터 차원이 다른것을 사용할 것이라서 신경쓰지 않아도 됩니다. ​:blobcatgooglythumbsup:​

대형 GPU는 대형 PC가 필요하지 않다 | GeekNews

Raspberry Pi 5에서 AMD, Intel, Nvidia GPU를 구동해 데스크톱 PC와 비교한 실험에서, 성능 손실이 2~5% 수준에 불과한 경우가 다수 확인됨Jellyfin 트랜스코딩, GravityMark 렌더링, LLM/AI 추론, 멀티 GPU 구성 등 네 가지 항목을 테스트해 효율성과 비용 대비 성능을 측정4개의 Nvidia RTX A500

news.hada.io · GeekNews

0
0
0

If you have a fediverse account, you can quote this note from your own instance. Search https://meow.nyanpuppu.cat/notes/agizxk8zze0g03tn on your instance and quote it. (Note that quoting is not supported in Mastodon.)