オレオレ RAG をさくっと作る

この記事は間違いが含まれている可能性があります。 もともと自社のドキュメントでは Meilisearch で日本語全文検索を実現していましたが、ドキュメントに質問できるようしたいと思い、簡単な RAG を作りたい！と思っていました。 色々調べたところなんとなくこんな感じでできそうというのが見えてきました。 とりあえず、ドキュメントを分割し、ベクトル化してベクトルデータベースに突っ込んで、質問をベクトル化して結果を引っ張り、それを LLM に食べさせて解説させるというのができればよいということがわかりました。 そこでまずはベクトルデータベースを探したのですが、普段からよく使っている DuckDB に VSS (Vector Similarity Search for DuckDB) という拡張があることがわかり、OpenAI Embeddings API を使って試すことにしました。 自社のドキュメントをなんとかうまいこと分割して、あとはベクトル化して DuckDB に保存するだけ。OpenAI Embeddings API はとても安いので自社製品のドキュメント程度のサイズで

voluntas.ghost.io · V