AMD BC-250 ( bc250 ) AI 활용 2 - LLM llama.cpp

목적본 문서는 llama.cpp를 활용하여 BC-250 환경에서 로컬 LLM을 구성하는 방법을 정리하기 위해 작성되었습니다.외부 서버나 클라우드 자원에 의존하지 않고, 로컬 환경에서 LLM을 구동하는 과정을 중심으로 설명합니다.llama.cppllama.cpp는 외부 서버 없이 CPU 중심으로 LLM을 실행할 수 있도록 설계된 초경량 추론 엔진입니다. 경량화된 구조와 높은 이식성을 특징으로 하며, 다양한 하드웨어 환경에서 LLM 추론을 가능하게 합니다. 비슷한 런타임으로는 ollama, vLLM 등이 있지만, 각 프로젝트는 지향하는 목표와 사용 시나리오가 서로 다릅니다.llama.cpp를 선택한 이유llama.cpp의 가장 큰 장점은 Mesa 기반(OpenGL / Vulkan) 환경에서도 LLM 추론이 ..

god-logger.tistory.com · 문제해결집