LLM 시대가 되면서 XY문제의 발생가능성과 그 위험성이 어느 때보다 증가한 상태라고 생각합니다.

XY문제란? X라는 문제를 해결하고 싶어서, 고민을 해봤더니 Y라는 문제를 해결하면 X를 해결할 수 있을 것 같다고 판단하고, 사람들에게 Y를 어떻게 해결하는지 조언을 구합니다. 근데 사실 Y를 해결하는 것은 X를 해결하는데에는 아무런 도움도 되지 않고, 실제로는 문제를 더 악화하는 등의 사태가 발생할 수 있는 경우를 보통 XY 문제라고 합니다.

기술적인 예를 들면... "웹사이트 인증서가 만료될 때 마다 갱신하기 불편하다" 라는 문제가 있다고 해봅시다. 이걸 해결하기 위해 고민하다가, "인증서의 만료 기한을 100년으로 늘리고 싶다" 라는 해결책을 생각하고, 사람들한테 이걸 어떻게하는지 물어봅니다. 사람들은 불가능하다고 답변합니다. 문제를 해결하지 못해 답답해합니다. 사실 첫번째 문제부터 공유했다면, 더 나은 해결책은 "인증서 갱신 과정을 자동화한다" 가 될 수 있지만, 이를 공유하지 않고 두번째 문제만 공유하면 미스커뮤니케이션만 발생할 수 밖에 없습니다.

LLM 때문에 이 경향이 가속됩니다. X라는 문제가 있고, 이를 해결하기 위해 챗지피티랑 열심히 대화합니다. 챗지피티가 결론적으로 Y를 하면 해결할 수 있다고 말합니다. 그래서 사람들한테 Y를 어떻게 하는지 물어봅니다.
XY문제는 특히 질문자가 해당 분야에 대해 잘 모르거나, 맥락을 충분히 가지지 않은 상황에서 자주 일어납니다. 잘 모르다보니 LLM과 상담을 할 때에도 충분하지 않은 지식과 맥락으로 이야기하고, LLM은 꼭 환각 때문이 아니어도 잘못된 해결책을 제시할 가능성이 높아집니다.

잘 모르는 질문자가 XY문제를 겪을 때, 잘 모르기 때문에, X와 Y 사이의 간극이 생각보다 크게 벌어지지 않고 Y를 질문받은 다른 사람들이 X를 추측해내서 올바른 해결책을 제시하는 경우도 많습니다.
하지만 LLM의 시대가 되면서, 잘 모르는 질문자가 LLM과 혼자서 오랜시간 이야기하면 X와 Y 사이의 간극이 커지고, 사람들에게 Y에 대한 조언을 구했을 때, 답변자들은 이상함을 느끼면서도 X를 추측해내지 못할 가능성또한 높아집니다.