Core function은 tinyld 라이브러리에서 나오는 것 같은데 소스코드 보니깐 엔그램 썼구나...! 그래 맞아 길어봐야 몇 문장일 거고 사실 최초 몇 단어 혹은 몇 자, 그리고 어떤 문자인지에 따라 (CJKV 같은 계열엔 더욱 더 명확할 거임) 바로바로 detection 하면 되는 걸테니 굳이 복잡시리한 거 안 써도 됨...내 최애 언어모델 엔그램 🥹 (다른 건 LSTM 🥹)
Core function은 tinyld 라이브러리에서 나오는 것 같은데 소스코드 보니깐 엔그램 썼구나...! 그래 맞아 길어봐야 몇 문장일 거고 사실 최초 몇 단어 혹은 몇 자, 그리고 어떤 문자인지에 따라 (CJKV 같은 계열엔 더욱 더 명확할 거임) 바로바로 detection 하면 되는 걸테니 굳이 복잡시리한 거 안 써도 됨...내 최애 언어모델 엔그램 🥹 (다른 건 LSTM 🥹)
If you have a fediverse account, you can quote this note from your own instance. Search https://hackers.pub/ap/notes/0199dc75-b63d-78b3-8a7d-63bd8f507d8d on your instance and quote it. (Note that quoting is not supported in Mastodon.)