네이트 실버 만들기

당분간의 연구 주제를 forecasting으로 정했다. 앞으로 왜 그런 결정을 내렸는지 남들에게 설명할 경우가 많이 생길 것 같다. 본 글은 그럴 때 모냥 빠지지 않게 곧장 대답할 수 있도록 미리 정리해보는 시도이다.

첫째, forecasting은 수학 다음으로 도전해볼 만한 문제라고 생각한다.

지난 약 2년 동안 나는 언어모델의 reasoning 성능을 높이는 연구를 해왔고, 그 과정에서 가장 즐겨 사용한 벤치마크는 MATH나 AIME 같은 수학 벤치마크였다.

하지만 이제는 수학이라는 도메인에서 내가 기여할 수 있는 영역이 점점 줄어들고 있다는 느낌을 받는다. 프론티어 모델들은 이미 IMO 금메달 수준의 성능을 보이고 있고, 행렬곱 최적화나 미해결 수학 문제 탐구와 같은 영역까지 진입하고 있다. 언어모델을 이용한 수학 연구는 점차 "문제를 푸는 단계"를 넘어 "새로운 수학을 만드는 단계"로 넘어가고 있는 듯하다. 어쩌면 이 시점부터는 AI 연구자보다 수학자들이 더 중요한 역할을 맡게 될지도 모른다.

그렇다면 수학 다음에는 무엇이 있을까? 그 고민 끝에 도달한 것이 forecasting이다.

Forecasting은 어떤 의미에서는 수학보다도 더 어려운 문제이며, 그래서 더욱 매력적이다.

1. 첫째, 데이터가 부족하다.

   1. 딥러닝은 결국 대규모 데이터에서 패턴을 발견하는 게임이다. 따라서 데이터가 많을수록 유리하다. 수학에는 수십만, 수백만 개의 문제와 풀이가 존재한다. 하지만 예측은 다르다. 우리는 오직 하나의 평행우주에 살고 있으며, 시간은 매우 느리게 흐른다. 코로나 팬데믹도 한 번뿐이었고, 서브프라임 모기지 사태도 한 번뿐이었다. 사스나 IMF 외환위기 같은 유사 사례를 참고할 수는 있겠지만, 그것들은 어디까지나 비슷할 뿐 동일하지는 않다.

2. 둘째, 우리는 항상 하나의 샘플만 관측한다.

   1. 미래는 본질적으로 하나의 확률분포로 존재한다. 그러나 우리가 경험하는 것은 그 분포에서 추출된 단 하나의 세계선뿐이다. 만약 수학 문제라면 같은 문제를 여러 번 풀어볼 수 있고 정답도 명확하다. 반면 예측에서는 "실제로 일어난 미래"만 관측할 수 있을 뿐, 일어나지 않은 수많은 가능성들은 영원히 관측할 수 없다. 이는 forecasting을 근본적으로 어려운 문제로 만든다.

그럼에도 forecasting이 수학보다 더 매력적으로 느껴지는 이유가 있다.바로 초인적(superhuman) 성능을 달성할 가능성이 더 크기 때문이다.

• 수학 모델의 훈련 데이터는 결국 인간이 만들어낸 지식이다. 반면 미래에 일어나는 사건들은 인간이 충분히 이해하지 못하더라도 실제 세계에서 결과로 나타난다. 즉, forecasting에서는 인간의 설명이나 이론이 없어도 학습 신호를 얻을 수 있다.

• 극단적으로 말하면, 인간은 왜 그런 결과가 나왔는지 설명하지 못하더라도 모델은 그 패턴을 포착할 수 있다. 그렇기에 forecasting은 오히려 인간을 뛰어넘을 가능성이 더 큰 분야가 아닐까 생각한다.

둘째, 이 분야는 아직 미개척 영역이 많다.

지난 2년을 돌아보면, 거의 모든 연구자들이 언어모델의 reasoning 능력을 향상시키기 위해 같은 방향으로 달려온 것 같다. 하지만 최근에는 점차 하나의 공감대가 형성되고 있다. 범용 언어모델을 개발하기 보다, 특정 도메인에 특화된 데이터와 시스템이 필요하다는 것이다. 그 결과, 모두가 하나의 범용 모델을 향해 달려가기보다는 각자 중요한 문제를 선택해 깊게 파고드는 방향으로 연구가 분화되고 있다.

이는 나 같은 연구자 입장에서 좋은 신호이기도 하다. 각 분야의 경쟁 강도가 상대적으로 낮아지고, 조금 더 긴 호흡으로 연구를 진행할 수 있기 때문이다. 개인적으로는 스쿱(scoop)을 당할까 봐 조급하게 연구했던 경험이 꽤 큰 트라우마로 남아 있다. 그래서 이제는 남들보다 조금 늦더라도, 충분한 시간을 들여 탄탄한 연구를 하고 싶다는 생각이 강하다. 그런 점에서 forecasting은 매우 매력적인 분야다. 중요한 문제이면서도 아직 정답이 정해져 있지 않고, 개척할 영역 또한 넓다. 당장 내가 해온 reasoning 훈련 연구를 forecasting 연구에 접목 시키는 것 만으로도 꽤나 많이 나올 수 있을 것 같다.

그래서 당분간은 forecasting을 언어모델로 풀어보는 연구에 집중해보려 한다.

셋째, 내가 오랫동안 흥미를 가져온 주제이다.

연구가 매력적인 이유 중 하나는 그것이 일종의 예술에 가깝기 때문이다. 적어도 나에게는 그렇다. 연구에는 연구자가 흥미를 느끼는 문제와 그 사람이 가진 철학이 자연스럽게 녹아든다. 셰사이닝 교수님이 이야기했듯, 내가 하는 생각은 결국 나만이 할 수 있다. 생각은 나와 외부 세계 사이의 고유한 상호작용에서 비롯되기 때문이다. 나는 이 관점을 꽤 믿는 편이다.

박민수 교수님이 참 멋진 것 같다는 생각을 늘 해왔다. 교수님의 지론은 "자기만의 영역을 구축하라"는 것이다. 중국과 인도의 수학 천재들과 정면으로 경쟁하기보다, 자신만의 문제를 찾고 자신만의 영역을 만드는 것이 생존에도 유리하고 연구의 만족도도 높다는 이야기다. 이는 피터 틸의 "경쟁하지 말고 독점하라"는 주장과도 맞닿아 있다.

그런 의미에서 forecasting은 나의 개인적인 관심사와도 깊게 연결되어 있다. 투자에 큰 관심을 가져왔던 나에게 미래를 예측하는 문제만큼 흥미로운 주제는 드물다. 하지만 AI를 하는 사람들 중에 예측에 특히 진심인 사람이 과연 몇 퍼센트나 될까. 물론 충분히 있겠지만, 그렇다고 모든 사람들이 개떼 같이 달려드는 분야도 아니다. 그렇다면 나름 "나만의 분야"라고 할 수 있지 않을까.

결국 forecasting은 어려운 문제이고, 아직 개척되지 않은 영역이 많으며, 무엇보다 내가 오랫동안 흥미를 느껴온 주제다. 그래서 당분간은 이 문제에 진지하게 도전해보려 한다.