엔비디아와 GPU 딜레마 (feat. 컴퓨팅 파워와 AI 모델)

엔비디아와 GPU 딜레마 (feat. 컴퓨팅 파워와 AI 모델)

 

AI 시대에 엔비디아는 절대 강자입니다. AI 모델을 구축하고 배포하려면, 컴퓨팅 파워가 절실한데요. 문제는 돈이 많다고 하더라도 AI에 필요한 그래픽처리장치 GPU를 제때 구입할 수 없다는 점입니다. 머스크가 엔비디아를 상대로 “배송이 안 오고 있다”며 항의한 것이 대표적입니다. 이뿐 아닙니다.

 

소프트뱅크그룹의 손정의 회장은 엔비디아 대주주가 못된 것을 후회한다고 했습니다. 또 큰 투자자들은 엔비디아의 뒤를 이을 AI 반도체 조합을 찾아 나서기 시작했습니다. 그래서 오늘은 빅테크 기업이 겪고 있는 GPU 딜레마가 무엇인지, 그 대안은 무엇인지 살펴보도록 하겠습니다.

 

1. 머스크가 말한 GPU 배정 순위

머스크는 앞서 엔비디아에 GPU를 주문했는데요. 주문한 물량을 일부만 받았어요. 테슬라에 도조 슈퍼컴퓨터를 설치하고 있고 xAI라는 AI 스타트업을 운영하고 있어, 무엇보다 컴퓨팅 파워가 절실합니다. 심지어 그는 엔비디아의 AI 칩인 H100을 추가로 주문, 연말까지 3만 5,000대에서 8만 5,000대로 늘릴 계획을 갖고 있습니다. 또 AI에만 총 100억 달러(14조 원)를 투자할 계획입니다. 하지만 엔비디아의 배송이 지연되면서, 일부 받은 GPU를 어디에 배정할지 고민이 커졌습니다.

 

2. 테슬라 주주들의 불만

머스크는 급한 대로 X(옛 트위터)에 GPU를 우선 배정했습니다. 한데 테슬라 주주들이 불만! 지난주 화요일 테슬라 주가가 1%나 떨어졌습니다. X에 배정한 GPU를 돈으로 환산하면 5억 달러 (7000억 원)라고 합니다. 테슬라 투자자들은 “휴머노이드와 도조컴퓨터를 만들려면, 테슬라가 당연히 먼저 GPU를 받았어야 했다”라고 이구동성.

 

GPU 우선순위 논쟁은 임시 CEO 논쟁으로 이어졌습니다. 머스크는 테슬라, 스페이스X, 뉴럴링크, xAI, X(옛 트위터) 등 수많은 기업의 CEO로 활동하는데요. 그렇다 보니 자신의 지분이 가장 많은 기업에 공을 더 들이는 경향이 있습니다. 지분만 보면 테슬라는 20.5%, 스페이스 X는 44% (의결권 78%), X(트위터)는 75~80% 수준입니다.

 

3. 전기차 보다 하이브리드

시사하는 바는 큽니다. 머스크는 테슬라에 대해 투자 보다는 일단 구조조정을 해야 한다고 보는 것 같아요. 올해 14% 이상을 감원했고, 연말까지 20% 감원이 예고돼 있다고 합니다. “2019년 이후 장기간의 번영을 누리다 보니 사내 곳곳에 비효율이 쌓여있다”는 것이 머스크의 진단입니다.

 

특히 그는 레베카 티누치가 이끄는 수백명의 직원으로 구성된 슈퍼차징팀을 전격 해체했는데요. 테슬라 슈퍼차저는 전 세계에서 가장 큰 충전망으로 꼽혔고, 테슬라의 차별화된 경쟁력으로 평가받았는데, 경쟁이 그만큼 격화된 것입니다. 테슬라는 여전히 강자입니다. 카운터포인트 리서치에 따르면, 1분기 전기차 시장에서 테슬라 점유율은 20%입니다. 이어 2위는 BYD 15%.

 

문제는 미국을 중심으로 전기차 열풍이 한풀 꺾인데 있습니다. AAA가 이달 설문한 바에 따르면, 전기차를 구매할 의향이 있냐는 질문에 소비자 18%만 그렇다고 답변했는데요. 작년 23%에서 낮아진 수치입니다. 또 그렇다고 답한 사람 중 3분의 1은 하이브리드를 사겠다고 말했습니다.

 

엔비디아와 GPU 딜레마 (feat. 컴퓨팅 파워와 AI 모델)

 

4. 손정의의 후회 "아...최대주주"

소프트뱅크그룹은 지난주 21일 정기 주주총회를 열었는데요. 손정의 회장은 이날 이런 발언을 했습니다. "인류 지능의 1만 배에 달하는 초인공지능이 10년 이내에 개발될 것인데요. 나는 이런 AI를 실현하기 위해 태어났다고 해도 과언이 아닙니다.” 그리고 한숨이 이어집니다.

 

MS가 오픈AI에 추가 투자를 발표한 2023년 1월. 그 이전에 오픈AI에 1조 엔 투자를 검토했었는데... 결국 성사되지 않았고, 아... 놓친 물고기는 많이 있어요...

 

2020년에 암(ARM)을 엔비디아에 매각하려고 했는데요. 반독점 당국의 반대로 중단됐습니다. 이후 엔비디아의 최대주주가 되는 형태로 양사를 합병시키려고 했는데, 젠슨 황 CEO 반대로 무산됐어요. 주식교환으로 대주주가 되려고 했었나 봅니다.

 

(1) 엔비디아의 H100 "호퍼" 프로세서는 특히 트랜스포머라는 새로운 AI 처리 방식에 적합합니다.(2) 호퍼 8개를 묶으면 DGX H100 시스템이 됩니다. (3) 다시 DGX H100 32개를 묶으면 DGX H100 슈퍼팟 (AI 서버)이 됩니다. 즉, DGX H100 슈퍼팟 4개면, H100이 1024개!

 

5. 여기서 잠깐! GPU 왜 중요해?

머스크 손정의 모두 컴퓨팅 파워의 중요성을 알고 있는데요. 감이 잘 안 오실 수 있을 것 같아요. 그래서 계산을 보여드리겠습니다. 왜 컴퓨팅 파워가 중요한지요. GPT-3는 인간 두뇌에 해당하는 파라미터. 그 파라미터수가 1,750억 개에 달합니다. 사람 두뇌에는 약 1,000조 개 (또는 100조 개로 추정)에 달하는 시냅스가 있대요. 시냅스는 뉴런(신경세포)들이 서로 신호를 주고받는 연결점인데요. 때문에 생각하고, 배우고, 기억하는 모든 과정을 가능하게 합니다. 즉 파라미터란, 함수로 보면 이해가 쉽습니다.

 

반응형

6. AI도 학습한다

처음 모델을 만들 때는 파라미터가 임의 값으로 돼 있어요. 이 상태에서는 모델이 입력 데이터를 받아도 제대로 처리하지 못해요. 마치 갓 태어난 아이가 말을 못 하는 것처럼요. 때문에 모델이 제대로 출력할 수 있도록 파라미터를 조정해야 합니다. 이 과정을 학습이라고 합니다. 학생이 문법을 배우는 것과 같은 이치입니다.

 

때문에 학습 과정에선 막대한 컴퓨팅 파워가 필요합니다. GPT-3는 1,750억 개 파라미터지만, 여기에 투입된 데이터는 수조 개에 달하는 토큰으로 구성돼 있어요. 1 토큰은 1음절로 이해하면 쉽습니다. 하지만 공부가 1회로 다할 수 없듯, 학습도 마찬가지입니다. 학습 횟수를 에폭이라고 합니다. 만약 3번 반복해 학습하면, 3 에폭이라고 해요.

 

자! 이제 컴퓨팅 파워를 계산해 볼게요. GPT-3 모델의 각 레이어(layer)에서 수행되는 연산은 주로 행렬 곱셈인데요. 때문에 2 FLPS (부동소수점) 연산이 필요합니다. 공식입니다.

 

필요한 총 FLOP= 2 ×(모델의 총 파라미터 수) ×(훈련 데이터의 토큰 수) ×(에폭 수)

 

풀어볼게요. 1750억 파라미터, 훈련 데이터 1조 개, 학습 횟수(에폭수) 3회라고 가정한다면? 약 157해 (15.75 X 10의 23승) 번의 연산이 필요합니다. 엔비디아의 GPU H100은 약 700 테라플롭스(700조) 연산 성능을 갖고 있어요. 즉! H100를 몇 대 갖고 있냐에 따라 시간이 달라집니다. (약간 오류가 있을 순 있어요.)

 

1개: 47.6년

10개: 4.76년

100개: 173.6일

1,000개: 17.36일

1만 개: 41.67시간

10만 개: 4.17시간

100만 개: 25분

 

7. 포스트 엔비디아 “어디 없나요?”

오늘날 엔비디아는 AI 대장주입니다. 연초 대비 주가 상승률이 무려 171.50%에 달합니다. "AI를 육성해야 한다"는 곧 "엔비디아 칩을 사야 한다"로 통합니다. 하지만 고점인지, 아닌지에 대한 견해는 분분합니다.

 

김선우 메리츠증권 연구원의 설명입니다. "엔비디아는 AI 서비스가 창출해 낼 부가가치를 100조 달러로 예측하고 있습니다. 단순히 반도체 공급 업체가 아닌 'AI 팩토리' 플랫폼을 제공하는 역할을 강조합니다. 경쟁사에도 불구하고 엔비디아의 지배력은 견고합니다.."

 

반대 견해도 있습니다. 캐피털 이코노믹스의 닐 시어링 수석 이코노미스트의 설명입니다. "AI에 대한 열정은 거품의 모든 특징을 가지고 있어요. 1년 반 정도 미국 주식을 상승시키는 데 도움이 됐겠지만 거품은 결국 꺼질 것입니다. “

 

포스트 엔비디아 주를 사려는 사람도 늘고 있어요. AI 시대는 계속 갈 텐데, 엔비디아는 너무 올랐으니, 다른 것을 사볼까 하는 심리인데요. 큰 손들은 서서히 반엔비디아 연합군인 브로드컴 시스코 마이크로소프트 삼성전자를 보고 있다고 합니다. 왜 그러냐고요. 먼저 AI 반도체 공식을 알아야 해요.

 

728x90

8. AI 반도체 공식

1) 전통적인 시스템

CPU + DRAM: 일반 컴퓨터는 중앙 처리 장치(CPU)와 주 메모리(DRAM)로 구성됩니다. CPU는 모든 일반적인 작업을 처리합니다.

 

2) GPU 가속 시스템

CPU + DRAM + GPU: AI 고성능 컴퓨팅을 위해 그래픽 처리 장치(GPU)가 추가됩니다. GPU는 대규모 데이터 처리를 병렬로 수행할 수 있어 AI 작업에서 높은 성능을 제공합니다.

 

3) NPU 도입 시스템

CPU + DRAM + GPU + NPU: 신경망 처리 장치(NPU)를 추가한 시스템입니다. NPU는 AI 연산을 전문적으로 처리하고, GPU는 여전히 병렬 처리를 담당합니다. CPU는 시스템 전체를 관리하고 일반 작업을 처리합니다.

 

CPU + DRAM + NPU: 일부 AI 시스템에서는 GPU 대신 NPU만 사용합니다. 이 구성은 특정 AI 작업에 최적화되어 있지만, 일반적인 작업에서는 유연성이 떨어질 수 있습니다.

 

다른 기종 컴퓨팅 시스템: CPU + DRAM + GPU + NPU + 기타 가속기: 여기에 더해 프로세서와 가속기를 조합할 수 있습니다. FPGA나 ASIC 같은 특수 목적의 하드웨어가 포함될 수 있어요.

 

일반적으로 AI 가속기라고 하면, GPU 가속 시스템을 가리켜요. 그래서 GPU는 엔비디아, HBM 메모리는 SK하이닉스, 위탁생산(파운드리)은 TSMC가 됩니다. 엔비디아는 그레이스라는 CPU까지 만듭니다. AI 반도체 3대장인 것이죠.

 

9. 머니무브

하지만 배송이 오래 걸리다 보니 “이 조합을 달리해도 되는 것 아냐”라는 생각을 서서히 하기 시작했습니다. 투자자들이 생각하는 새 조합은 엔비디아가 독점하고 있는 반도체 설계와 네트워크·보안 분야는 각각 브로드컴과 시스코에게 몰아주고, HBM은 삼성전자로 바꾸는 것인데요. 이런 움직임이 없는 것은 아니었습니다.

 

한국거래소에 따르면 5월 외국인은 삼성전자를 2조 5,811억 원 매도한데 반해 SK하이닉스에 대해선 1조 5,088억 원의 순매수했습니다. 한데 6월에는 17일까지 삼성전자와 SK하이닉스에 대해 각각 1조 3,962억 원 1조 3,408억 원 순매수를 했어요.

 

일각에선 구글 마이크로소프트 메타 인텔 AMD 브로드컴 시스코 HP엔터프라이즈 등 8곳이 AI 가속기의 글로벌 표준 제정을 위한 ‘울트라 가속기 링크(UA링크)’를 설립한데 따른 기대심리라는 분석이 있었습니다.

 

오늘은 AI 컴퓨팅 파워와 포스트 엔비디아에 대한 스토리를 들려드렸는데요. 엔비디아가 왕좌의 자리를 계속 유지할지는 알 수 없지만, AI 열기가 이어지는 한 컴퓨팅 파워에 대한 수요는 이어질 것이 확실해 보입니다.

 

엔비디아와 GPU 딜레마 (feat. 컴퓨팅 파워와 AI 모델)

 

다만 AI 시대에 직업이 바뀌더라도, 사람과 사람 간 소통의 힘은 바뀌지 않을 것 같아요. 로빈스 회장은 커뮤니케이션을 잘하는 샐러리맨의 신화기도 한데요.

 

그는 사실 영업통입니다. 1987년 노스캐롤라이나뱅크에 앱 개발자로 입사했지만 직종을 바꿔 웻플릿과 어센드에서 세일즈 담당자로 활동했고 1997년 시스코에 입사한 이후에도 줄곧 세일즈와 고객관리를 담당했어요. 그가 올해 직원들에게 보낸 편지를 잠깐 보여드릴게요.

 

“일과 삶이 너무 섞여 있죠? 제가 어렸을 때, 저한테는 일터 아버지와 가정 아버지가 있었습니다. 아버지가 정장을 입으면 그 순간부터 일터 아버지가 되시고, 집에 돌아와 정장을 벗으면 다시 가정 아버지로 돌아왔습니다. 전 직원들이 다른 사람이 되기를 원하지 않아요. 직원들에게 이렇게 말하고 싶습니다.”

 

“감옥에 가거나 회사를 위험에 빠뜨리지 않는 한 어떤 질문이든 대답할 것입니다. 우리는 매우 자주 소통해야 해요. 매달 모든 직원들과 화상 회의를 합니다. 오후 3시에 자녀의 축구 경기가 있으면 꼭 가세요. 왜냐하면 여러분은 밤 9시에 아침에 놓친 이메일에 답장을 하고 있을 것이기 때문입니다.”

---

 

훅 떨어졌다 훅 오르는 엔비디아 (feat. 엔비디아 주가, 왜 떨어졌던 거야?)

 

코스닥 상장 무산된 이노그리드 (feat. 클라우드 운영 플랫폼 전문 기업)

 

아워홈에 무슨 일이.. 막내 내쫓은 큰언니 (feat. 부회장을 해임)