폭풍의 눈이 되어버린 Deepseek (feat. 엔비디아와 오픈AI)

폭풍의 눈이 되어버린 Deepseek (feat. 엔비디아와 오픈AI)

 

마크 앤드리슨이 극찬을 하면서 deepseek는 이제 폭풍의 눈이 되었다. deepseek의 등장이 엔비디아, 오픈AI에 어떤 영향을 줄지 갑론을박으로 난장판이 됐다.

 

엔비디아에 기대를 걸고 있고 투자한 사람들이 많다 보니 챗GPT는 망했어도 엔비디아는 건재할 것이라는 주장을 하는 사람들이 많다. 과연 그런가?

 

엔비디아 매출의 대부분은 새로운 모델을 개발하는데 투입되었다. 메타, 마이크로소프트, xAI등이 경쟁적으로 사들였다. deepseek의 500만 불 개발설은 집어치우고 지금까지 들어간 GPU의 절반만 필요하다고 해도 엔비디아에 주는 타격은 엄청나다. 그런데 절반이 아니라 1/100이다. 1/10 정도로만 돼도 엔비디아 주가는 3년 전으로 돌아갈 것이다.(물론 금방 되지 않는다. 투자 실패를 인정하는 데는 꽤 오랜 시간이 걸린다)

 

깃허브에서는 딥시크 모델을 만드는 오픈소스 데이터셋 개발을 착수했다. 어떤 파운데이션 모델이든 딥시크 모델처럼 만들 수 있게 하는 것이다. 며칠 지나지 않았지만 거의 모든 틀이 완성되었고 한 달이면 새로운 모델들이 쏟아져 나오는 것을 보게 될 것이다.

 

LLM은 대략 3단계로 만든다. 1단계는 많은 GPU와 엄청난 웹문서를 때려 넣어 언어를 학습하는 단계다. 이 단계가 돈이 가장 많이 든다. 그다음은 정제된 데이터 예컨대 책이나 뉴스 같은 걸 학습한다. 데이터 비용이 많이 들고 GPU는 많이 필요 없다. 3단계는 문제지를 학습한다. 문제지 데이터를 만드는 것이 어려운데 돈 보다도 아이디어와 뛰어난 인재들이 필요하다. 딥시크는 이 3단계를 빠르고 쉽게 하는 방법을 고안했다. 즉 사람 머리를 많이 썼을 뿐 GPU는 많이 쓰지 않았다.

 

반응형

대단위 GPU가 필요한 1단계는 이제 거의 필요가 없어졌다. 왜냐하면 더 이상 학습할 데이터가 없기 때문이다. 인간이 만들어내는 데이터는 그 양이 적고 시간이 오래 걸리기 때문에 1단계부터 새로 학습할 일이 거의 없다. 지금부터 필요한 것은 학습 방법과 데이터셋을 어떻게 만들지에 대한 고민이다. 역시 GPU가 필요 없고 사람이 필요하다.

 

GPU로 LLM 말고 무슨 로봇 같은 걸 만든다고? 그냥 다 사기라고 보면 된다. 더 중요한 것... 딥시크든 뭐든 LLM기반의 기술이 세상을 크게 바꿀 것이라 보지 않는다. 코딩에서 LLM은 이미 극한의 경지에 도달했다. 그렇지만 프로그래머 커뮤니티에 큰 변화는 관찰되지 않는다. 편하고 업무에 도움을 주지만 이것 때문에 노동시장이 바뀌거나 세상이 뒤집어질 일은 없다.

---

 

지금 구매하거나 사전 주문할 수 있는 CES 제품 5가지

 

전기차 충전기 해킹 (feat. 개인 데이터 및 전력망에 미치는 위협)

 

빅데이터에서 해야 할 것과 하지 말아야 할 것 10가지