[完了][OpenSearchなどを使わず簡易な方法でembeddingモデルを動かして評価する]
 
<動機>
セマンティック検索について試行錯誤したいがFessやOpenSearchの機能や仕様を調べるコストが高い。シンプルなPythonスクリプトからembeddingモデルを直接使って、どういう使い方をすればうまくいくのかを探りたい

<結論>
シンプルなRAGツールを作った。multilingual-e5-large-instは充分な精度が出た。チャンクの切り方などに気をつけるのがいい。LangChainがやはり便利。ローカルで完結するRAGは容易に実現可能。エンジニアでなくとも使えるようにできるとなおよい。
gist.github.com/g-fukurowl/81c

0

If you have a fediverse account, you can quote this note from your own instance. Search https://zenyasai.g-fukurowl.club/users/g_fukurowl_zenyasai/statuses/114474612675852326 on your instance and quote it. (Note that quoting is not supported in Mastodon.)