ChatGPT Plus로 3개월, 그리고 이어서 ChatGPT Pro로 3개월을 사용해보면서, 이를 적극적으로 활용해 연구를 수행해본 후기를 공유합니다. 저는 지난 6개월간, SCI/E 저널에 2편의 논문을 publish 했고, top-tier 학회에 1편을 1저자로 submit, 그리고 3편을 교신저자로 submit 했습니다.

ChatGPT-4.5 기준입니다.

Deep Research 성능

• 우선, 찾아주는 논문의 수가 적고, 퀄리티가 보장되지 않습니다.
• 최신의, 좋은 품질의, 그리고 다수의 논문에 대해서 survey를 진행하여 연구 동향을 파악하고 싶다면, 여전히 석사 학생 한명한테 시키는것이 낫습니다.
• 요컨대 일정 품질 이상의 결과물을 얻을수가 없어서, 그 기준을 넘는 부분에 대해서는 결국 쓸모가 없는 기능이 됩니다.
• 결국 아주 보조적인 survey tool로써만 쓰게 되었는데, 당연히 없는 것 보다는 훨씬 낫습니다. 우연히 새로운 논문을 알게 되는 경우도 종종 있으니까요 (serendipity).

이론적인 증명

• 존재하지 않는 theorem을 새롭게 증명해내야 할 때, ChatGPT는 매우 그럴듯하게 말은 하지만 거의 항상 틀린 증명을 가져옵니다.
• LLM 작동 원리상 사실 간단한 덧셈 뺄셈도 보장 되는게 없는 만큼, 크리티컬한 부분(부등호 방향 등)에서 오류를 자주 내기 때문에, 일단 틀린 증명이라고 생각하고 살펴보는게 좋습니다.
• 다만, 적어도 떠올리지 못했던 증명 방향이 나올 수도 있고, 적어도 틀린 증명 하나는 얻었으니, 맞는 증명을 찾는 과정에서 한가지 가능성을 제거 할 수는 있게 됩니다.

모델 설명과 실험 분석

• 이 부분들에 대해선, ChatGPT의 생성 결과를 토대로 작성하는 것과 처음부터 작성하는 것의 시간 및 품질 차이가 크게 나지 않았습니다.
• 결국 하려는 말이 명확할수록, ChatGPT에게 도움 받을 수 있는게 적어지는 것 같습니다 (즉, 어디서부터 뭘 시작해야하지? 하는 모호한 상황에서야 말로 ChatGPT가 빛을 봅니다).

번역기로 사용하기

• 저는 주로 한국어로 논문 글 초안을 작성하고, 이를 subsection 단위로 쪼개서 ChatGPT에게 번역을 맡기는 방식으로 작업하고 있습니다.
• 솔직히는, 이제는 번역기로써의 성능은 거의 완성된것 같습니다. 문단 당 고칠 표현이 많아야 두개 정도였습니다.

결론

• 브레인스토밍과 번역에는 최고의 도구입니다.
• 그러나 결국 연구의 핵심 방향은 직접 이끌고 나가야합니다.
• 그렇기에, 연구의 방향에 대해서 (수식 레벨로, 아주 구체적으로) ChatGPT와 자주 디스커션을 하는 것은 가능성 확장 측면에서 도움이 됩니다.

주의 사항

• 잘 모르는 내용에 대해서 ChatGPT의 지식에 의존하면 안됩니다.
• 당연한 얘기 같지만, 디스커션을 오래 하다보면 자기도 모르게 이 부분을 간과하게 되는 경우가 종종 생깁니다.
• 마치 수학 교과서처럼, 메모리 기능 등을 활용해서 디스커션에 필요한 모든 지식을 context 안에 담아두는게 좋습니다. ChatGPT가 지식을 틀리게 변형하여 적용하고 있을 경우, 이를 자기가 눈치채지 못할것 같다면 ChatGPT를 사용해서는 안됩니다.