메타 Llama 3.1이 가진 진짜 의미 (feat. AI 회사를 만들기 최적의 시기)

메타 Llama 3.1이 가진 진짜 의미 (feat. AI 회사를 만들기 최적의 시기)

 

1. Llama 3.1의 의미: 수렴하는 기술

생각보다 많은 분들이 "왜  Llama 3.5나 4가 아니라 3.1일까?"에 대한 고민을 하지 않으시는 것 같습니다. "3개월 만에 발매되었으니 그런 거 아니야?"라는 것도 합리적이긴 한데 Llama 1과 2의 시차가 5개월이라는 걸 보면 3.5가 나와도 크게 무리는 아니었다고 생각합니다.

 

"성능향상이 크지 않아서 아닐까"라는 생각은 공감이 되는데 그럼 그다음 질문은 "왜 성능 향상이 크지 않은데 굳이 또 출시한 것일까?"라는 질문이 따라오게 됩니다. 그 질문에 대한 답은 바로 "기술의 수렴"이 거의 다 왔기 때문이라는 생각이 듭니다.

 

2. 지금이 바로 응용 인공지능 회사들 만들기 최적인 이유

1) 단기적인 큰 변화가 기대되지 않는 지금

당장의 기술은 수렴하지만 내일 아침에 누군가가 어떤 breakthrough를 만들어낸다면 다시 한 계단 더 올라선 기술적인 혁신을 보여줄 수도 있습니다. 다만 그건 예상하기 힘든 부분이라서 그리고 흔치도 않고 기본적으로는 단기간에는 없을 거라고 가정하고 지금 우리가 해야 할 일에 대해서 고민하는 게 더 논리적이라고 생각합니다.

 

발전 속도와 수렴을 보면, 최근 라마 3.1이 오픈소스에 무료로 많은 걸 공개함과 동시에 성능면에서 GPT-4o를 잡겠다며 나온 지 얼마 되지도 않아 Mistral도 Large 2도 출시하여 좋은 벤치 마크를 보여줬고, 최근에는 아래와 같이 구글도 제미나이 1.5 프로를 출시하며 성능을 과시하고 있습니다. 한마디로 경쟁사들 사이의 기술적 해자는 예전만큼 극명하지 않게 되었다는 거죠. 개인적으로도 요즘은 Claude나 Perplexity위주로 사용하고 있습니다.

 

덧붙여 엔비디야의 젠슨황과 메타의 마트가 함께 오픈소스 생태계의 중요성을 대대적으로 강조했습니다. 누가 봐도 이 둘이라면 오픈소스 모델들을 키워서 인공지능 발전을 더 빠르게 앞당길 수 있지 않을까 기대됩니다. 동시에 클로즈드 소스 모델들은 어떤 식으로 시장의 변화에 대처할지에 대한 고민이 계속될 것이라고 봅니다.

 

2) 성숙한 기술의 창조적인 응용 기회

지금 기술이 어느 정도 성숙했고 당장의 breakthrough는 없다고 보는 관점이라 한동안 실리콘밸리에서 유행했던 Leopold Aschenbrenner의 Situational Awareness라는 AGI에 대한 경고글을 믿지 않습니다. 이 글의 기본적인 관점은 인공지능 기술의 발전이 linear 하거나 exponential 하기 때문에 지난 2년간의 성과를 보았을 때 앞으로 2년 안에 AGI에 도달한다는 겁니다.

 

Leopold는 비록 OpenAI에서 1년 정도밖에 근무하지 못하고 해고당했지만, 링크드인에 따르면 19살에 대학을 졸업한 천재이고 어느 정도 설득력이 있는 부분도 있어 보이기는 하는데 인류 전체는 expoential 한 technology growth를 보여왔지만 각각의 기술들의 발전은 breakthough에 기반한 step function에 가까웠다고 생각합니다.

 

따라서 개별 기술의 끝없는 발전이 아니라 오히려 각 계단에서 한계가 명확한 기술들에 대한 창의적인 응용이 인류 전체의 폭발적인 기술발전과 성과를 이끌어내었던 게 아닐까라는 생각을 합니다.

 

그 점이 바로 우리에게 AGI가 없어도 지금까지 발전한 인공지능 기술만으로도 그 응용에 집중했을 때 정말 많은 가치를 창출할 수 있다고 생각하는 이유이고, 동시에 어느 정도 기술이 수렴하였고 거품이 빠져가는 지금이 AI application 회사를 시작하기에 가장 적기가 아닐까 하는 생각이 듭니다.

 

결국은 특정 기술의 발전만 바라볼게 아니라 그 응용에 더 신경을 쓰는 것이 어찌 보면 더 많은 가치를 창출할 수 있는 부분이고 우리는 지금 그렇게 할 수 있는 충분히 성숙한 인공지능 기술의 시대에 거의 도달했다고 생각합니다.

 

반응형

3) 인프라 과투자가 오히려 신생 스타트업들에게는 기회

엔비디아를 통해 다들 잘 아시다시피 고급 AI 모델을 개발하는 데는 막대한 비용이 듭니다. OpenAI와 같은 기업들은 하드웨어, 데이터, 전문 지식과 관련된 엄청난 비용에 시달리고 있고 한 기사에 따르면 OpenAI는 $8.5 빌리언을 썼고 올해 $5 빌리언의 손실을 예상하고 있고 12개월 안에 현금이 동날 상황이라고 합니다.

 

결국 이렇게 OpenAI를 비롯해 많은 회사들과 시장이 과도한 투자를 했고 이는 ① 예를 들면 Llama 3.1와 같은 모델과 인프라의 급속한 증가로 리소스 공급을 늘려줬고 ② 정작 OAI 같은 회사들의 자금 부족으로 운신의 폭이 좁아졌고 ③ 이런 인공지능 회사들이 망했을 때 넘치는 리소스를 저렴하게 쓸 수 있는 기회가 오게 됩니다.

 

따라서 현재 벌어지고 있는 인프라 과투자는 장기적으로 봤을 때 새로운 스타트업에게는 큰 도움이 될 것이라고 생각합니다.

 

4) 거품이 빠지고 있는 시장

시장에 거품이 빠진다는 건 그만큼 경쟁자가 줄어들고 동시에 과도한 밸류에이션이나 하입에 휘둘리지 않아도 된다는 부분입니다. 인공지능 거품이 빠져가고 있습니다. 다만 사업방향성에 대해 걱정하던 Character AI가 결국 창업자들이 구글로 복귀하기로 하면서 사업을 접는 모습인 것으로 알려졌습니다.

 

재미있는 건 단지 회사의 지표만 보고 찬양일색이던 투자자들이 많았다는 겁니다. 그들은 여전히 전문가를 자부하며 공격적으로 인공지능 투자를 하고 있는데, 과연 그들이 ① 시장과 기술에 대해 충분히 이해하고 고민하고 투자자인가, 아니면 ② 남들 다 하니까 따라 하는 것인가, ③ 앞으로 나는 이 투자자들이 "이해했다고" 말할 때 믿을 수 있는가에 대한 질문이 생겼습니다.

 

모험자본을 운용하는 만큼, 스타트업의 파산을 VC들에게 질책하자는 건 절대 아닙니다. 다만, 남들과 다른 투자를 해야 하는 VC들에게 가장 치명적인 실패는 바로 FOMO에 휩쓸려서 discipline을 잃고, 남들 다하는 투자를 더 비싸게 하는 것이라고 생각하고 이를 경계하자는 것입니다.

 

다들 투자자들을 성공한 딜로만 기억한다고 생각하기 쉬운데, 이번 2021-2022를 지나면서 명백하게 FOMO에 휩쓸려 실패한 투자도 시장은 기록하고 기억하기 시작했다고 생각합니다.

 

5) 기존 회사들이 하지 않을까요?

AI 기술이 발전함에 따라, 전통적인 레거시 소프트웨어가 종종 새로운 AI 기능과 효과적으로 통합하는 데 어려움을 겪을 것으로 생각됩니다. 구식 아키텍처와 프로세스로 구축된 레거시 시스템은 AI의 힘을 완전히 활용할 수 없어 그 잠재력이 제한됩니다.

 

AI의 혜택을 진정으로 누리기 위해서는 처음부터 AI를 염두에 두고 설계된 솔루션이 필요합니다. 이러한 AI 네이티브 애플리케이션은 더 큰 유연성, 효율성, 확장성을 기반으로 최신 기술로 개발되어 고급 알고리즘을 원활하게 통합하고 진화하는 AI 트렌드에 적응할 수 있습니다.

 

6) 기존 회사들이 처음부터 다시 해야 했던 사례

① Salesforce Classic

Salesforce의 구형 플랫폼은 현대적인 CRM 요구사항과 클라우드 혁신을 따라가는 데 어려움을 겪었습니다. 회사는 경쟁력을 유지하기 위해 사용자들을 Salesforce Lightning으로 전환해야 했습니다. 포트폴리오 회사들의 이 과정을 지켜봤는데 정말 painful 한 전환이었습니다.

 

② KakaoTalk

당장 1,500명 제한도 있고 지난 글도 못 보는 등, 출시 당시에는 고려하지 못했던 부분들이 있고 이걸 부분적으로 해결해가고 있지만 아예 처음부터 지금 시대에 맞게 처음부터 만드는 게 낫겠다는 생각도 듭니다.

 

③ Internet Explorer

마이크로소프트의 Internet Explorer는 오랫동안 시장을 지배했지만, 웹 표준과 크로미움기반의 현대적인 웹 기술을 따라가지 못해 결국 Edge 브라우저로 대체되었습니다.

 

이러한 사례들은 기술 변화에 적응하지 못하면, 한때 성공적이었던 소프트웨어도 빠르게 시장에서 도태될 수 있음을 보여줍니다. AI 기술의 발전 속에서 기존 소프트웨어들의 한계일 수도 있는 부분을 지적하고 동시에 AI native회사들에게 희망을 주는 예시들이라고 생각합니다.

 

728x90

3. 지금이야말로 late mover advantage가 빛날 것

우리는 항상 선두주자의 우위에 더 주목하는 경향이 있다고 생각하고 동시에 선두주자가 실패하고 지나간 것을 바탕으로 삼아 더 나은 제품을 만드는 후발주자의 우위는 자주 과소평가된다고 생각합니다. 지금까지 수많은 인공지능 회사들이 생겨났고 사라지고 있는 만큼, 새로운 인공지능회사들은 그들의 실패로부터 분명 배우는 것이 있을 것이라고 생각하고 이는 인류를 위해 더 나은 인공지능 회사를 만들 수 있는 기반이 될 거라고 생각합니다.

---

 

로봇으로 대체되는 사람들의 일자리 (feat. 기본소득 실험)

 

자율주행 택시시대 시작 (feat. 대중화 돌입한 자율주행)

 

인간을 공격하는 음식 서빙 로봇 (feat. AI석학의 경고)