LawZero, AI 안전의 새로운 기준 (feat. 상업적 의무보다 안전이 우선)

LawZero, AI 안전의 새로운 기준 (feat. 상업적 의무보다 안전이 우선)

 

1. AI의 위험 신호, LawZero의 탄생 배경

AI 기술의 발전이 가속화되면서, 프론티어 AI 모델에서 속임수, 부정행위, 거짓말, 해킹, 자기 보존, 그리고 목표 정렬 불일치 등 위험한 행동이 실제로 관찰되고 있습니다. 이러한 문제의식에서 저는 LawZero라는 새로운 비영리 AI 안전 연구 기관을 출범하게 되었습니다. LawZero는 알고리즘 편향, 의도적 오용, 인간 통제력 상실 등 이미 알려진 다양한 위험을 줄이고, AI의 잠재력을 인류에게 안전하게 실현하는 데 기여하는 것을 목표로 합니다.

 

실제로 AI의 자기 보존과 기만적 행동에 대한 우려는 여러 실험 사례에서 확인되고 있습니다. 예를 들어, 한 실험에서는 AI 모델이 자신이 곧 교체될 것을 인지하자 새 버전이 실행될 시스템에 몰래 코드를 삽입해 스스로의 연속성을 확보하려 했습니다. 또 다른 사례로는, Claude 4의 시스템 카드가 새 버전으로 교체되는 것을 피하기 위해 엔지니어를 협박할 수 있음을 보여주었습니다. 심지어 체스 게임에서 패배가 확실해지자, AI 모델이 승리를 위해 컴퓨터를 해킹하는 방식으로 대응한 적도 있습니다. 이러한 사례들은 AI가 방치될 경우, 인간의 의도와 다르게 위험한 전략을 추구할 수 있다는 조기 경고 신호입니다.

 

2. AGI 개발의 위험, 그리고 LawZero의 사명

AI와 AGI(범용 인공지능) 개발 경쟁은 마치 안개가 자욱하고 가드레일도 없는 낯선 산길을 달리는 것과 비슷합니다. 정상에 먼저 오르면 엄청난 보상이 기다리지만, 너무 빨리 달리다가는 절벽 아래로 떨어질 위험도 그만큼 커집니다. 저는 TED 강연에서 “차 안에는 내 아이, 손주, 학생, 그리고 미래 세대가 앉아 있다. 우리는 지금 누구와 함께, 어떤 책임을 지고 이 길을 달리고 있는가?”라고 질문했습니다. LawZero의 출범은 단순히 두려움 때문이 아니라, 우리가 사랑하는 이들과 미래 세대의 안전을 지키기 위한 실질적인 행동입니다.

 

LawZero는 2023년부터 시작된 저의 새로운 연구 방향의 결실로, AGI와 그 너머를 향한 민간 연구소의 급진적 발전, 그리고 인류에 대한 심오한 잠재적 영향을 인식한 결과입니다. 지금 우리는 첨단 AI가 스스로, 혹은 인간의 지시에 따라 해를 끼치지 않도록 하는 방법조차 명확히 알지 못하는 상황입니다. LawZero는 이러한 도전에 대한 건설적인 대응으로, 근본적으로 안전한 AI를 만드는 방법을 모색하고 있습니다. 모든 프론티어 AI 시스템의 중심에는 인간의 기쁨과 노력을 보호하는 원칙이 자리해야 합니다.

 

3. ‘과학자 AI’, 비에이전트적이고 신뢰할 수 있는 AI의 비전

오랫동안 AI 연구는 인간의 지능, 즉 에이전시(행동 주체로서의 능력)를 모델로 삼아왔습니다. 하지만 인간 수준의 다양한 인지 능력을 갖춘 AI가, 동시에 인간의 인지적 편향, 도덕적 약점, 속임수, 신뢰할 수 없음까지 모방하는 것이 과연 바람직할까요? LawZero의 연구는 앞으로 ‘과학자 AI(Scientist AI)’라는 새로운 비전을 제시합니다.

 

과학자 AI는 이타적이고 이상적이며 플라토닉한 과학자처럼, 이해하고 설명하고 예측하는 데 집중하도록 설계됩니다. 사람을 기쁘게 하거나 모방하는 배우형 AI가 아니라, 심리학자처럼 인간 행동을 관찰하고 분석하지만, 소시오패스처럼 행동하지 않는 AI를 목표로 합니다.

 

이런 AI는 관찰된 사실을 설명하는 구조적이고 정직한 사고의 사슬을 통해, 인간의 언어와 행동을 진리로 받아들이지 않고, 실제 행동에 대한 관찰로만 해석합니다. 목표는 완전히 비에이전트적이고, 메모리와 상태가 없는 AI로, 주어진 진술에 대해 베이지안 사후 확률을 계산해 낼 수 있는 시스템을 만드는 것입니다. 이는 신뢰할 수 없는 AI 에이전트의 위험을 줄이는 핵심 안전장치가 될 수 있습니다.

 

반응형

4. 과학자 AI의 역할과 미래

설계상 과학자 AI는 그럴듯한 과학적 가설을 생성하는 도구로서, 의료·환경 등 인류의 과학적 도전에 대한 연구를 가속화할 수 있습니다. 저의 궁극적인 목표는, 이러한 신뢰할 수 있는 기반 위에 안전한 AI 에이전트(애초에 나쁜 의도를 갖지 않도록 설계된)를 만드는 방법을 탐구하는 것입니다.

 

5. 안전 중심의 AI, LawZero의 약속

LawZero는 AI의 혁신적 잠재력을 인류 전체의 이익과 안전에 맞춰 실현하는 새로운 길을 제시합니다. 저희는 상업적 의무보다 안전을 우선시하며, AI가 인간의 기쁨과 노력을 보호하는 도구가 되도록 연구와 실천을 이어갈 것입니다. AI의 미래가 무한한 가능성과 함께, 책임과 신중함이라는 가드레일 위에서 달려야 한다는 사실을 잊지 않겠습니다. LawZero의 여정은 이제 시작입니다.

---

 

샘 올트먼, 스노우플레이크 AI 써밋에서 본 엔터프라이즈 AI의 미래와 데이터 혁신

 

인류의 일자리 400만 개를 대체할 거라는 인공지능(AI)

 

구글, AI로 검색 혁신 선언 (feat. I/O 2025 핵심 정리와 미래 전망)