性能がいいマシンがメインのRTX積んでるやつしかないのでLLM動かすのはここじゃないと難しそう🤔
@cocoa甘瀬ここあ LLMはGPUの性能も重要ですが、VRAMの容量も多く必要なので、最近ではLLMの研究者の間でMac mini M4の統合RAM容量を最大にアップグレードしたモデルが最もコスパが良いと言われているようです。
If you have a fediverse account, you can quote this note from your own instance. Search https://hackers.pub/ap/notes/0196a42e-83ab-7a04-94ec-666806e72450 on your instance and quote it. (Note that quoting is not supported in Mastodon.)