드라코 @draco@pointless.chat
Public

Mercury 2: 확산 기반 초고속 추론 LLM | GeekNews

news.hada.io/topic?id=27005

예전에 한번 이슈된적 있는, 디퓨전 기반 LLM이 버전2가 나왔나 보군요.
하여간 매주 뭔가 나와...

Mercury 2: 확산 기반 초고속 추론 LLM | GeekNews

확산 모델(diffusion) 기반 병렬 생성 방식을 사용해 기존 순차 디코딩 LLM의 속도 한계를 극복한 언어 모델한 번에 여러 토큰을 생성·수정하는 병렬 정제(parallel refinement) 구조로, 5배 이상 빠른 응답 속도를 달성1,009토큰/초 처리 속도, 128K 컨텍스트, JSON 출력, 도구 사용 기능 등으로 실시간 애플리케이션에 최적화

news.hada.io · GeekNews

0
0
0

If you have a fediverse account, you can quote this note from your own instance. Search https://pointless.chat/users/draco/statuses/116134472743310056 on your instance and quote it. (Note that quoting is not supported in Mastodon.)