한국시간으로 13일 금요일 새벽. 그러니까 정확히 한주 전. 오픈AI가 갑자기 새로운 AI모델을 공개했어요. 오픈AI가 공개한 AI모델은 '딸기(Strawberry)'라는 프로젝트명으로 불렸고, 1년 전에는 Q*라는 별명으로 불리기도 했습니다. AI가 스스로 수학문제를 풀었고, 이것이 일반인공지능(AGI)이고 이것 때문에 샘 올트먼이 쫓겨났다는 음모론이 시작된 바로 그 Q*입니다.
엄청난 기대감과 함께 공개된 새로운 모델의 이름은 o1. o1의 가장 큰 특징은 '사고의 연쇄(Chain of Thought)'라고 하는 단계적 사고예요. 기존의 거대언어모델(LLM)들이 큰 규모의 토큰을 집어넣으면 한 번에 답이 나오는데 반해, o1은 어떤 질문에 대해서 AI가 자체적으로 사고를 반복하는 과정을 거쳐요. 어떻게 보면 사람이 하나하나 질문해서 답으로 유도해야 하는 것들을 AI가 내적사고를 거쳐서 답을 찾아줘요. 그렇다 보니 수학문제, 코딩, 암호풀이 같이 인간이 하기 어려운 문제를 쑥쑥 해결해 내요.
그런데 o1에 대해서 오픈AI는 '새로운 패러다임'이라는 표현을 썼어요. 저는 이게 그냥 상투적인 홍보문구라고 생각했는데, 미라 무라티 오픈AI CTO와 야쿱 파초키 오픈AI 수석과학자와 화상 통화를 하면서 '새로운 패러다임'의 의미를 알 수 있었습니다.
기존 생성형AI에는 '스케일의 법칙'이라는 패러다임이 있었어요. 즉, 인공지능의 매개변수와 데이터를 키우면 AI의 성능이 좋아진다는 것. 오픈AI의 GPT는 그런 생각으로 계속 스케일을 키우는 식으로 모델을 발전시켜 왔고 이는 지금도 대부분의 AI 개발기업들이 공통적으로 가지고 있는 생각. 스케일의 법칙 때문에 큰 컴퓨팅 파워가 필요했고, 이는 엔비디아 GPU에 대한 수요로 이어졌습니다.
반면 o1은 매개변수를 키우는 것이 아니라 인공지능에게 공부할 시간과 사고할 시간을 충분히 줬습니다. 그랬더니 시간이 지날수록 역시 성능이 좋아졌습니다. 스케일의 법칙과는 다른 의미로 AI의 성능을 발전시키는 방법을 찾은 거죠.
미라 무라티 CTO는 이런 새로운 패러다임에 대해서 기존의 '스케일'의 패러다임을 대체하는 것이 아니라 두 개가 공존할 것이라고 말했어요. 지금 챗GPT 유료 서비스를 사용하는 분이라면 아시겠지만 o1과 GPT-4o 두 개의 모델 중 필요한 것을 선택할 수 있어요.
이런 패러다임의 변화가 AI모델 연구에 어떤 영향을 가져올까요?
'기술' 카테고리의 다른 글
세일즈포스의 AI 회의론 깨부수기 (feat. 드림포스) (18) | 2024.09.20 |
---|---|
코파일럿은 AI를 위한 UI (feat. 마이크로소프트 365 제2의 물결) (20) | 2024.09.20 |
애플 뮤직이 되려는 AI검색 기업 (feat. 퍼플렉시티 창업자의 꿈) (31) | 2024.09.17 |
MR헤드셋의 부진 (feat. 비전 프로와 메타 퀘스트3) (22) | 2024.09.17 |
AI에게 인간이 필요한 이유 (feat. 한계에 대한 논문들) (27) | 2024.09.17 |
댓글