엣지 컴퓨팅과 클라우드 컴퓨팅의 균형점 (feat. AI가 변화시킨 중심추)

엣지 컴퓨팅과 클라우드 컴퓨팅의 균형점 (feat. AI가 변화시킨 중심추)

 

오늘은 지난 3월 엔비디아의 연례행사인 GTC부터 최근의 구글 I/O와 마이크로소프트 빌드를 보면서 느꼈던 한 가지에 대해서 설명해드리려고 합니다. 이 주제는 다음 달에 열리는 애플의 WWDC까지 관통하는 것입니다. 이 주제를 가지고 지금의 인공지능(AI)과 테크 전반을 본다면, 좀 다른 접근을 할 수 있을 것 같습니다. 바로 ‘누가 계산을 하느냐'는 문제입니다. 오늘 주제는 엣지 디바이스와 클라우드 중에 어디서 계산(Where to Compute)’을 할 것인가의 문제입니다.

 

1. 엣지와 클라우드 : 어디서 계산을 하느냐

컴퓨터가 세상에 등장하고 개인용 컴퓨터(PC)가 등장할 때까지, 계산은 항상 중앙화된 서버의 몫이었습니다. 컴퓨팅 파워는 돈이 많은 기업이 소유하고 있었다는 겁니다. 그러다 PC의 등장으로 개인도 서버컴퓨터가 하는 것과 같은 계산능력을 가질 수 있게 됐습니다. PC에 들어가는 반도체와 메모리의 성능이 발달하면서 개인이 소유한 PC로 ‘계산의 장소’는 상당 부분 옮겨지게 됐습니다.

 

하지만 2000년대 등장한 인터넷으로 다시 중앙화 된 서버로 힘의 무게추가 옮겨집니다. 전 세계의 컴퓨터가 인터넷으로 연결되면서 많은 데이터와 계산능력을 가진 서버컴퓨터의 역할이 중요해졌습니다. 여기에 클라우드 기술이 발달하면서 컴퓨팅의 많은 부분을 서버컴퓨터가 처리하게 되었습니다. 현대적인 의미의 데이터센터가 보편화되고, 엣지 컴퓨팅(말단 기기와 가까운 곳에서 이뤄지는 계산)과 클라우드 컴퓨팅(데이터센터에서 이뤄지는 계산)의 개념이 생겨났습니다. 엣지 컴퓨팅의 경우 디바이스에서 이뤄지는 계산뿐만 아니라 온프레미스(기업이 직접 소유한 서버컴퓨터)에서 이뤄지는 것도 포함한다고 합니다.

 

2. 클라우드 시대의 균형점

2010년대 보편화된 스마트폰은 '소비자 컴퓨터 영역'에서 엣지 디바이스와 클라우드 컴퓨터 사이의 적절한 균형을 이루게 해 줬던 것 같습니다. 전 세계의 개인이 소유한 수십억 대의 스마트폰과 이곳에 데이터를 공급해 주는 데이터센터가 적절하게 역할 분담을 했다는 겁니다. 데이터센터에서 이뤄지는 클라우드 컴퓨팅은 전기처럼 표준화되고 보편화된 자원이 되었습니다. 이 과정에서 단말 디바이스와 관련된 기업과 데이터센터와 관련된 기업도 균형 있게 성장했습니다.

 

예를 들어 애플, 삼성전자, 퀄컴이 전자(디바이스)에 속하고, 마이크로소프트, AWS, 구글 같은 기업이 후자(클라우드)에 있다고 볼 수 있어요. 빅테크 기업들은 본질적으로 거대한 데이터센터 인프라를 구축한 클라우드 기업이라고 볼 수 있습니다. 반면, 엔비디아나 인텔은 엣지 디바이스와 데이터센터 양쪽에 모두 해당하는 회사라고 할 수 있습니다. 엔비디아의 경우 PC용 GPU를 만들면서도 데이터센터에 만드는 GPU를 만들었기 때문입니다. 인텔도 마찬가지입니다.

 

반응형

3. 생성형AI는 클라우드에서만 가능

그런데 딥러닝과 생성형AI 의 등장은 단말기기와 클라우드 컴퓨팅 사이의 균형을 무너뜨린 것 같습니다. 챗GPT 같은 거대 언어모델은 스마트폰에서 작동이 안 되기 때문입니다. 스마트폰은 계산능력도 떨어지고 메모리도 크지 않습니다. 스마트폰보다 더 성능이 뛰어난 PC에서도 챗GPT가 안 되는 것은 마찬가지입니다.

 

우리가 생성형AI를 사용한 각종 서비스를 이용하기 위해서는 클라우드와 데이터센터의 도움이 필요합니다. 지금도 모든 디바이스들이 인터넷에 연결되어 있고, 클라우드에서 컴퓨팅이 이뤄지는 것 아니냐고 반문하실 수도 있으실 것 같습니다. 그럼에도 불구하고 클라우드에 의존해야만 가능한 것과, 느리지만 엣지 디바이스에서 AI를 처리할 수 있는 것에는 하늘과 땅 같은 차이가 있는 것 같습니다. 무엇보다 온디바이스에서 계산이 이뤄지면 그 비용은 소비자가 냅니다. 낸다고 해도 뭐 기계값과 배터리 충전료 정도로 아주 쌉니다. 근데 클라우드에서 계산이 이뤄지면 누군가는 클라우드 업체(빅테크)에게 돈을 내야 합니다.

 

AI의 클라우드 의존을 줄이지 않으면 그 돈은 결국 빅테크로, 최종적으로는 엔비디아에게 흘러가게 됩니다. 올해 1월 삼성전자가 최초의 AI폰 갤럭시 S24를 내놓으면서 보였던 디바이스 업체들의 고민은 5월 마이크로소프트가 내놓은 ‘코파일럿+ PC’에서도 동일하게 나타났습니다. 6월의 WWDC도 동일한 고민의 반복이 이뤄질 것 같습니다. 클라우드에서 밖에 돌아갈 수 없는 '생성형AI를 어떻게 엣지 디바이스로 끌어내릴 것인가'가 이런 업체들의 고민입니다.

 

삼성전자는 AI모델을 양자화하고 최적화해 집어넣었습니다. 마이크로소프트는 파이(Phi)라고 하는 소형언어모델(SLM)을 개발해서 PC와 스마트폰에서 돌아가게 만들고 있습니다. 퀄컴은 AI연산에 특화된 스냅드래곤 X 엘리트라는 CPU를 내놨고, 애플도 자체 설계 반도체의 AI 계산 능력을 계속 업그레이드하고 있습니다.

 

엣지 컴퓨팅과 클라우드 컴퓨팅의 균형점 (feat. AI가 변화시킨 중심추)

 

4. 애플의 데이터센터 태세전환

이런 큰 그림에서 애플이 WWDC에서 어떤 발표를 할 것인지를 한번 상상해보려고 합니다. 이미 블룸버그 마크 거만 기자에 의해서 많은 부분이 유출이 되었습니다. 개인적으로는 애플의 서버용 AI반도체 공개가 제일 기대가 됩니다. 현재 알려진 사실은 애플의 데이터센터에 M2 울트라 반도체가 들어간다는 것. 그리고 이 데이터센터를 기반으로 애플이 AI 추론 서비스를 고객에게 제공할 것으로 보입니다.

 

애플은 여러 빅테크 기업들 중에서 데이터센터를 가장 안 만드는 기업으로 알려져 있습니다. 마이크로소프트는 전 세계에 300개의 데이터센터를 갖고 있다고 합니다. 메타는 약 24개 정도가 있어요. 반면 애플은 7개뿐입니다.

 

사실 퍼블릭 클라우드 사업을 하지 않는 애플이 데이터센터를 소유할 이유도 없습니다. 그냥 돈 내고 구글클라우드나 AWS의 클라우드를 쓰면 되기 때문입니다. 실제로 많은 애플 고객들이 사용하는 아이클라우드의 경우 구글클라우드를 많이 쓴다고 합니다.

 

5. AI는 데이터센터가 중요하네

그런데 생성형AI는 얘기가 다릅니다. 생성형AI는 아무 데이터센터에서나 되는 것이 아닙니다. 바로 엔비디아 GPU(혹은 AI가속기)가 달려있는 데이터센터에서 학습을 시켜야 하고, 서비스(추론)를 할 때도 GPU를 사용해야합니다. 만약 일반 데이터센터에서 이를 작동시키면 속도가 매우 느려집니다. 생성형AI의 속도가 빨라지고 최적화가 이뤄지는 것만으로도 소비자들의 만족도는 크게 올라간다는 것을 우리는 GPT-4o와 구글 I/O에서 확인할 수 있었습니다.

 

그래서 애플이 고객들에게 생성형AI 서비스를 제공한다면 이는 두 가지 방법이 있을 것 같습니다. 하나는 구글 제미나이나 오픈AI GPT를 사용하는 경우. 결국 그 뒤에 있는 구글 데이터센터나 마이크로소프트 데이터센터에 있는 엔비디아 GPU를 사용하게 되는 것. 두 번째 방법은 애플이 직접 AI를 만들어서 이를 애플 데이터센터에서 애플이 설계한 GPU로 작동시키는 것입니다.

 

반도체분야 전문 분석기관인 ‘세미애널라이시스’에 따르면 애플은 지난 3월 엔비디아, 구글에서 일한 AI 인프라 분야 전문가인 수미트 굽타를 채용했어요. 이것은 애플이 본격적으로 AI 데이터센터에 투자한다는 신호라고 볼 수 있습니다.

 

728x90

6. 애플의 데이터센터는 어떤 모습일까?

서버컴퓨터와 개인용 컴퓨터(PC)는 본질적으로 같습니다. CPU, GPU, 메모리, 스토리지, 냉각장치, 파워 이런 것들이 들어갑니다. 그래서 아이폰 이전부터 개인용 컴퓨터인 ‘맥’을 만들었던 애플은 맥 컴퓨터를 기반으로 하는 서버컴퓨터 시스템도 가지고 있었습니다. PC시장만큼 큰 서버컴 시장을 공략하기 위한 것이었죠. 물론 2022년에 완전히 서비스를 중단하긴 했습니다. 지금은 애플의 데이터센터도 맥이 아닌 리눅스 기반의 x86 서버로 돌아가고 있지 않을까 추청 되고 있습니다.

 

하지만 맥을 가지고 퍼블릭 클라우드 서비스를 제공하는 ‘맥 스태디움’이라는 클라우드업체가 있는 것을 감안해 보면 애플이 완전히 독자적이면서 효율적인 데이터센터를 설계하고 있을지도 모릅니다. 그 데이터센터는 애플 기기에게 최고의 AI 서비스뿐만 아니라 클라우드 서비스를 제공할 수 있을지도 모릅니다.

 

7. 8조 원으로 뭐 할 거야? 데이터센터

일론 머스크가 만든 인공지능 회사 xAI가 투자유치를 마무리했다는 소식 들으셨나요? 240억 달러 가치로 60억 달러(약 8조 원)의 자금을 조달했습니다. 조달한 자금의 상당규모를 AI용 슈퍼컴퓨터 클러스터(AI데이터센터)를 구축하는데 쓸 예정이라고 합니다. 일론 머스크는 이를 ‘컴퓨팅 기가팩토리(Gigafactory of Compute)’라고 표현했습니다. 테슬라 자동차를 만드는 기가팩토리의 이름을 가져와서 ‘AI를 만드는 기가팩토리로 비유한 것입니다. 10만 개의 GPU가 들어가는 이 ‘컴퓨팅 기가팩토리’는 지금 전 세계에서 가장 큰 AI클러스터 보다도 4배나 크다고 합니다.

 

일론 머스크는 왜 이렇게 큰돈을 들여서 AI데이터센터를 구축하려는 걸까요? 테슬라 자율주행 학습과 xAI의 학습을 위해서라도 AI데이터센터가 필요하기 때문입니다. AI데이터센터는 학습이 아니라 추론에도 쓸 수 있고, 다른 회사에 빌려줄 수도 있을 겁니다. 젠슨 황 CEO는 ‘AI 데이터센터’는 ‘비용’이 아리나 ‘제품(AI)’을 생산한다는 점에서 ‘공장’으로 비유하기도 했습니다.

---

 

코딩 없이 나만의 GPT 챗봇을 만드는 방법 (feat. 친구와 공유는 필수)

 

느린 과학(Slow Science)의 중요성 (feat. 세상에서 가장 느린 피치 드롭 실험)

 

미래 인공지능(AI)의 윤리적 이슈 (feat. AGI 패러독스)