Google EmbeddingGemma + Ollama + sqlite-vec으로 간단한 로컬 RAG 구현하기

OpenAI의 gpt-oss 모델에 이어, RAG (검색 증강 생성)에서 매우 중요한 역할을 하는 임베딩 모델을 Google에서 새롭게 오픈 소스로 공개헀습니다. EmbeddingGemma라는 이름의 임베딩 모델로, 고성능 하드웨어 없이도 RAG를 구현할 수 있으면서, 한국어, 중국어, 일본어를 포함한 수많은 언어를 지원하도록 개발된 모델이어서 의미가 있습니다. 그래서 재빨리 File-based App과 Semantic Kernel용으로 개발된 sqlite-vec 확장 모듈을 붙여서 프로토타입 코드를 만들어봤는데, 잘 작동하는 것 같네요! 😃 참고로, | 기호나 query: 같은 라벨은 엄격한 의미의 문법은 아니고 EmbeddingGemma가 동작하는 방식에 맞춰주기 위한 부분이라고 합니다. (https://ai.google.dev/gemma/docs/embeddinggemma/inference-embeddinggemma-with-sentence-transformer...

forum.dotnetdev.kr · 닷넷데브