ローカルLLMはVRAMが足りなかった場合にはRAM（システムメモリ）へオフロードされることがあるので、RAM側にも気を配るとよいとされている。VRAMがあればあるほどよいというのは当然だけど、より大容量なVRAMはより高性能なGPUに繋がり、さらにそれはより高い価格に繋がる。高速で大容量なRAMの方が現実的な場面もあるので、いろいろと難しい。
ローカルLLMはVRAMが足りなかった場合にはRAM（システムメモリ）へオフロードされることがあるので、RAM側にも気を配るとよいとされている。VRAMがあればあるほどよいというのは当然だけど、より大容量なVRAMはより高性能なGPUに繋がり、さらにそれはより高い価格に繋がる。高速で大容量なRAMの方が現実的な場面もあるので、いろいろと難しい。
If you have a fediverse account, you can quote this note from your own instance. Search https://misskey.okayurisotto.net/notes/a78d8zc8wy on your instance and quote it. (Note that quoting is not supported in Mastodon.)