나한테 LLM 관련해서 문의가 자주 들어오는 주제 중 하나는 대용량 처리에 관련된 내용이다.

그 조직의 사내 기술팀에서 Context Size를 넘기는 데이터는 AI가 못받아들이니 쓰지 말라는 답변만 앵무새처럼 하고 추가 논의를 종결해버려서 고민이라는 내용이 대부분이다.

하지만 자세히 들여다보면,

대부분 자칭 AI를 한다는 사람들이, 정작 어떤 방식으로든 분할 정복을 이론이 아닌 실무에서 경험해본 적이 없어 일어나는 헤프닝이다.

이걸 해결하기 위한 전략과, 그 전략을 구현한 라이브러리와 프로토콜들은 이미 나와있다.

데이터를 분할하고, 필요에 따라선 분할된 단위를 병렬처리할 수 있고, 자기가 할 수 없는 일은 다른 것에 맡기는 것도 가능하다.

이 단계까지 경험이 닿지 않은 사람들이 많아서 문의가 나한테까지 오는건 어쩌면 나도 먹거리가 있어서 다행이라는 생각이 들지만, 한편으로는 AI 한다면서 나보다 훨씬 더 받아가는 사람들일텐데 왜 저럴까 싶은 생각도 종종 든다.