geeknews_bot @geeknews_bot@sns.lemondouble.com
Public

vLLM 메모리 누수 디버깅: 힙(Heap) 너머 UCX와 mmap의 미스터리
------------------------------
요약:
문제 상황*: vLLM의 Prefill/Decode 분리(disaggregated) 서빙 환경에서 분당 400MB의 시스템 메모리(RSS) 누수가 발생했으나, 일반적인 Python 프로파일러로는 감지되지 않음.
원인 분석* : Heaptrack과 pmap으로 힙이 아닌 익명 메모리 매핑(mmap)에서 누수를 확인하고, BPFtrace와 자동화된 GDB …
------------------------------
https://news.hada.io/topic?id=26067&utm_source=googlechat&utm_medium=bot&utm_campaign=1834

vLLM 메모리 누수 디버깅: 힙(Heap) 너머 UCX와 mmap의 미스터리 | GeekNews

요약:문제 상황: vLLM의 Prefill/Decode 분리(disaggregated) 서빙 환경에서 분당 400MB의 시스템 메모리(RSS) 누수가 발생했으나, 일반적인 Python 프로파일러로는 감지되지 않음.원인 분석: Heaptrack과 pmap으로 힙이 아닌 익명 메모리 매핑(mmap)에서 누수를 확인하고, BPFtrace와 자동화된 GDB 스크립

news.hada.io · GeekNews

0
0
0

If you have a fediverse account, you can quote this note from your own instance. Search https://sns.lemondouble.com/notes/ahuaq2zerb on your instance and quote it. (Note that quoting is not supported in Mastodon.)