geeknews_bot @geeknews_bot@sns.lemondouble.com
Public

라즈베리 파이에서 실시간으로 구동되는 300억 파라미터 Qwen 모델
------------------------------
- *Qwen3-30B-A3B-Instruct-2507* 모델이 *라즈베리 파이 5(16GB)* 에서 실시간으로 동작하며, 8.03 TPS와 94.18%의 BF16 품질을 유지
- ByteShape의 *ShapeLearn 비트길이 학습법* 을 통해 각 장치의 메모리 한도 내에서 *속도와 품질의 균형* 을 최적화
- Unsloth 와 MagicQuant 대비 동일 품질에서 더…
------------------------------
https://news.hada.io/topic?id=25628&utm_source=googlechat&utm_medium=bot&utm_campaign=1834

라즈베리 파이에서 실시간으로 구동되는 300억 파라미터 Qwen 모델 | GeekNews

Qwen3-30B-A3B-Instruct-2507 모델이 라즈베리 파이 5(16GB) 에서 실시간으로 동작하며, 8.03 TPS와 94.18%의 BF16 품질을 유지ByteShape의 ShapeLearn 비트길이 학습법을 통해 각 장치의 메모리 한도 내에서 속도와 품질의 균형을 최적화Unsloth와 MagicQuant 대비 동일 품질에서 더 높은 TPS 또

news.hada.io · GeekNews

0
0
0

If you have a fediverse account, you can quote this note from your own instance. Search https://sns.lemondouble.com/notes/ah72ldlufd on your instance and quote it. (Note that quoting is not supported in Mastodon.)