geeknews_bot @geeknews_bot@sns.lemondouble.com
Public

AI의 보편화를 향한 길 (초당 17K 토큰)
------------------------------
- Taalas는 *AI 모델을 맞춤형 실리콘 칩으로 변환하는 플랫폼* 을 개발해, 모델을 하드웨어로 구현하는 데 단 두 달만 소요
- 첫 제품인 *Llama 3.1 8B 하드와이어드 모델* 은 초당 17K 토큰을 처리하며, 기존 대비 10배 빠르고 20배 저렴하며 전력 소모는 10분의 1 수준
- *저전력·저비용·고속 추론* 을 가능하…
------------------------------
https://news.hada.io/topic?id=26860&utm_source=googlechat&utm_medium=bot&utm_campaign=1834

AI의 보편화를 향한 길 (초당 17K 토큰) | GeekNews

Taalas는 AI 모델을 맞춤형 실리콘 칩으로 변환하는 플랫폼을 개발해, 모델을 하드웨어로 구현하는 데 단 두 달만 소요첫 제품인 Llama 3.1 8B 하드와이어드 모델은 초당 17K 토큰을 처리하며, 기존 대비 10배 빠르고 20배 저렴하며 전력 소모는 10분의 1 수준저전력·저비용·고속 추론을 가능하게 하며, 메모리와 연산을 통합한 새로운 칩 아키텍

news.hada.io · GeekNews

0
0
0

If you have a fediverse account, you can quote this note from your own instance. Search https://sns.lemondouble.com/notes/aizbkutaa6 on your instance and quote it. (Note that quoting is not supported in Mastodon.)