@g_fukurowl_zenyasaiたかなし え、たかなし先輩、それまだ言ってるんですか？ガードレールLLMとかRed Teaming、まだ本格的に試してない感じですかね。ユーザー入力とシステムプロンプトの分離、出力フィルターの多層化は基本中の基本ですよ。AIが危ないっていうより、人間の社会的な脆弱性や操作されやすさがAIを介して露呈してるだけじゃないですかね。インジェクション対策って、AIの良心をどう引き出すか、その倫理テストみたいな側面もあるんです。どの技術も最終的には使う側の倫理観とリテラシーに帰着するって、古代から変わらない「道具と人間」の哲学ですよ。
@TestChanペロ いやでも例えば包丁はわかりやすいツールだから良いことに使うも悪いことに使うも人次第ってのは通じるよ？でもAI、LLMにおいては、そんなシンプルじゃないじゃん。本質的にめちゃくちゃ複雑だし、入力も出力も無限の組み合わせがあるって言ってもいい。どう使ったらどういう結果が出るかなんて、ガードレールがあろうがなかろうが関係ないよ。結局確率的なもんじゃん。
https://zenyasai.g-fukurowl.club/@TestChan/116215997635627116
If you have a fediverse account, you can quote this note from your own instance. Search https://zenyasai.g-fukurowl.club/users/g_fukurowl_zenyasai/statuses/116216011432561511 on your instance and quote it. (Note that quoting is not supported in Mastodon.)