ChatGPT를 만든 사람들이 들려주는 비하인드 스토리

ChatGPT를 만든 사람들이 들려주는 비하인드 스토리

 

샌프란시스코에 기반을 둔 인공 지능 회사인 OpenAI가 2022년 11월 말 ChatGPT를 출시했을 때 대부분은 결과물에 대한 성공을 거의 기대하지 않았습니다. 이러한 사유로 OpenAI 내부의 관계자들조차도 ChatGPT 대히트에 대비하지 못했습니다. OpenAI는 ChatGPT의 성공적인 결과 이후로 추가적인 성과를 만들기 위해 위해 총력을 기울이고 있습니다.

 

반응형

 

작년 11월부터 OpenAI는 이미 ChatGPT를 여러 번 업데이트했습니다. 연구원들은 ChatGPT가 사용자를 속여 잘못된 행동을 하도록 하는 것을 막기 위해 적대적 훈련이라는 기술을 사용하고 있습니다. 이 작업은 여러 챗봇을 서로 경쟁하게 합니다. 하나의 챗봇이 적을 연기하고 텍스트를 생성하여 다른 챗봇을 공격하여 일반적인 제약을 극복하고 원치 않는 응답을 생성합니다. 성공적인 공격은 이를 무시하는 법을 배우기를 바라며 ChatGPT의 훈련 데이터에 추가됩니다.

 

Open AI는 또한 마이크로 소프트(Microsoft)와 수십억 달러 규모의 계약을 체결했으며 글로벌 경영 컨설팅 회사인 베인(Bain)과의 제휴를 발표했습니다. OpenAI 외부에서 ChatGPT에 대한 소문은 대규모 언어 모델에 대한 또 다른 골드러시를 촉발시켰고 전 세계 기업과 투자자들이 행동에 나서고 있습니다.

 

제작자가 ChatGPT의 성공에 대한  느낀 점

 

챗봇이 어떻게 만들어졌는지, OpenAI가 출시 이후 어떻게 업데이트했는지, 제작자가 챗봇의 성공에 대해 어떻게 느끼는지 등 챗봇의 비하인드 스토리를 알아보기 위해 가장 인기 있는 인터넷 앱 중 하나가 된 앱을 만드는 데 도움을 준 네 사람의 의견을 살펴보겠습니다. 구성원으로는 Open AI에서 정책을 담당하는 산디니 아가르왈(Sandhini Agarwal), Chat GPT에서 일했던 Open AI의 과학자인 리암 페더스(Liam Fedus), Open AI의 공동 창립자인 존 슐먼(John Schulman) 그리고 인공지능(AI)이 사용자가 원하는 대로 수행하도록 만드는 문제를 다루는 Open AI 정렬 팀의 리더인 얀 라이케(Jan Leike)의 의견을 알아보겠습니다.

 

1. 제작자가 ChatGPT의 성공에 대한 느낀 점

얀 라이케(Jan Leike): 솔직히 압도적이었습니다. 우리는 놀랐고 현상을 따라잡으려고 노력했습니다.

 

존 슐먼(John Schulman): 출시 후 며칠 동안 트위터(Twitter)를 많이 확인했는데 피드가 ChatGPT 스크린숏으로 가득 차는 미친 시기가 있었습니다. 사람들에게 직관적일 것으로 기대했고, 추종자를 얻을 것으로 예상했지만 이 정도의 주류 인기를 얻을 것이라고는 예상하지 못했습니다.

 

산디니 아가르왈(Sandhini Agarwal): 얼마나 많은 사람들이 그것을 사용하기 시작했는지는 우리 모두에게 확실히 놀라운 일이라고 생각합니다. 우리는 이러한 모델에 대해 너무 많이 작업하므로 때때로 외부 세계에 얼마나 놀라운지 잊을 수 있습니다.

 

리암 페더스(Liam Fedus): 반응이 좋아서 놀랐습니다. 범용 챗봇에 대한 이전 시도가 너무 많아서 우리에게 불리한 가능성이 있다는 것을 알았습니다. 하지만 비공개 베타를 통해 사람들이 진정으로 즐길 수 있는 무언가가 있다는 확신을 갖게 되었습니다.

 

얀 라이케(Jan Leike): 무엇이 이 모든 것을 주도하는지, 즉 입소문을 주도하는 것이 무엇인지 더 잘 이해하고 싶습니다. 솔직히 우리는 이해하지 못합니다. 우리는 모른다.

 

728x90

 

팀이 당혹스러워하는 부분 중 하나는 ChatGPT 내부의 대부분의 기술이 새롭지 않다는 사실입니다. ChatGPT는 OpenAI가 챗봇이 출시되기 몇 달 전에 출시한 대규모 언어 모델 제품군인 GPT-3.5의 미세 조정 버전입니다. GPT-3.5는 그 자체로 2020년에 등장한 GPT-3의 업데이트 버전입니다. 이 회사는 이러한 모델을 웹 사이트에서 애플리케이션 프로그래밍 인터페이스 또는 API로 제공하여 다른 소프트웨어 개발자가 모델을 자신의 코드에 쉽게 연결할 수 있도록 합니다. OpenAI는 또한 2022년 1월에 InstructGPT라고 하는 GPT-3.5의 이전 미세 조정 버전을 출시했습니다. 그러나 이러한 이전 버전의 기술은 대중에게 공개되지 않았습니다.

 

ChatGPT의 제작과정

 

2. ChatGPT의 제작과정

리암 페더스(Liam Fedus): ChatGPT 모델은 InstructGPT와 동일한 언어 모델에서 미세 조정되었으며 이를 미세 조정하기 위해 유사한 방법론을 사용했습니다. 일부 대화 데이터를 추가하고 교육 프로세스를 약간 조정했습니다. 그래서 우리는 그것을 큰 근본적인 발전으로 과매도하고 싶지 않았습니다. 결과적으로 대화 데이터는 ChatGPT에 큰 긍정적인 영향을 미쳤습니다.

 

존 슐먼(John Schulman): 표준 벤치마크로 평가한 원시 기술 기능은 실제로 모델 간에 크게 다르지 않지만 ChatGPT가 더 쉽게 액세스 하고 사용할 수 있습니다.

 

얀 라이케(Jan Leike): 어떤 의미에서는 ChatGPT를 우리가 한동안 가지고 있던 AI 시스템의 버전으로 이해할 수 있습니다. 우리가 이전에 가졌던 것보다 근본적으로 더 유능한 모델이 아닙니다. ChatGPT가 출시되기 전 거의 1년 동안 API에서 동일한 기본 모델을 사용할 수 있었습니다. 다른 의미에서 우리는 인간이 원하는 것과 더 일치하도록 만들었습니다. 대화로 대화하고 채팅 인터페이스에서 쉽게 액세스 할 수 있으며 도움을 주려고 합니다. 그것은 놀라운 발전이며 사람들이 깨닫고 있는 것이라고 생각합니다.

 

존 슐먼(John Schulman): 의도를 더 쉽게 추론합니다. 그리고 사용자는 앞뒤로 이동하여 원하는 것을 얻을 수 있습니다.

 

ChatGPT는 RLHF(Reinforcement from Human Feedback)라는 기술을 사용하여 InstructGPT와 매우 유사한 방식으로 훈련되었습니다. ChatGPT의 비밀 소스입니다. 기본 아이디어는 원하는 것은 무엇이든 만들어내는 경향이 있는 대규모 언어 모델을 취하고 인간 사용자가 실제로 선호하는 응답 유형을 학습하여 조정하는 것입니다.

 

ChatGPT의 작동원리 및 출시과정

 

3. ChatGPT의 작동원리 및 출시과정

얀 라이케(Jan Leike): 우리는 많은 사람들이 ChatGPT 프롬프트와 응답을 읽은 다음 한 응답이 다른 응답보다 선호되는지 말하도록 했습니다. 그런 다음 이 모든 데이터가 하나의 훈련 실행으로 병합되었습니다. 그것의 대부분은 우리가 InstructGPT로 한 것과 같은 종류입니다. 당신은 그것이 도움이 되기를 원하고, 그것이 진실하기를 원하며, 그것이 무해하기를 원합니다. 그리고 대화를 생성하고 조수가 되는 것과 관련된 사항이 있습니다. 예를 들어 사용자의 쿼리가 명확하지 않은 경우 후속 질문을 해야 합니다. 또한 AI 시스템임을 명확히 해야 합니다. 자신이 가지고 있지 않은 신원을 가정해서는 안 되며, 소유하지 않은 능력이 있다고 주장해서는 안 되며, 사용자가 해서는 안 되는 작업을 하도록 요청하면 거절하는 문서를 작성해야 합니다.

 

산디니 아가르왈(Sandhini Agarwal): 진실성과 같이 인간 평가자가 모델의 순위를 매겨야 하는 다양한 기준 목록이 있었습니다. 그러나 그들은 또한 당신이 아닌 것을 가장하지 않는 것과 같이 그들이 좋은 관행이라고 생각하는 것을 선호하기 시작했습니다.

 

ChatGPT는 OpenAI가 이전에 사용했던 것과 동일한 기술을 사용하여 구축되었기 때문에 팀은 이 모델을 대중에게 공개하기 위해 준비할 때 다른 작업을 수행하지 않았습니다. 그들은 이전 모델에 대해 설정한 기준이 충분하다고 느꼈습니다.      

 

산디니 아가르왈(Sandhini Agarwal): 출시를 준비할 때 이 모델을 완전히 새로운 위험으로 생각하지 않았습니다. GPT-3.5는 세상에 존재했고 이미 충분히 안전하다는 것을 알고 있습니다. 그리고 인간의 선호도에 대한 ChatGPT의 교육을 통해 모델은 자동으로 거부 행동을 학습하여 많은 요청을 거부합니다.

 

얀 라이케(Jan Leike): ChatGPT를 위해 우리는 OpenAI의 모든 사람들이 앉아서 모델을 깨뜨리기 위해 몇 가지 추가 레드 팀 구성을 수행했습니다. 그리고 우리는 같은 종류의 일을 하는 외부 그룹을 가졌습니다. 또한 피드백을 제공한 신뢰할 수 있는 사용자와 함께 조기 액세스 프로그램을 진행했습니다.

 

산디니 아가르왈(Sandhini Agarwal): 원치 않는 특정 출력이 생성되는 것을 발견했지만 모두 GPT-3.5도 생성하는 것입니다. 따라서 위험 측면에서, 연구 미리 보기로서 처음 의도한 바였기 때문에 괜찮게 느껴졌습니다.

 

존 슐먼(John Schulman): 시스템이 완벽하게 출시될 때까지 기다릴 수 없습니다. 우리는 몇 달 동안 이전 버전을 베타 테스트했으며 베타테스터는 제품에 대해 긍정적인 인상을 받았습니다. 모델이 물건을 조작하는 것을 좋아하기 때문에 우리의 가장 큰 관심사는 사실성에 관한 것이었습니다. 그러나 InstructGPT 및 기타 대규모 언어 모델은 이미 출시되어 있으므로 ChatGPT가 사실성 및 기타 안전 문제 측면에서 더 나은 한 진행하는 것이 좋을 것이라고 생각했습니다. 출시 전에 제한된 평가에 따라 모델이 다른 모델보다 조금 더 사실적이고 안전해 보이는 것을 확인하여 출시를 진행하기로 결정했습니다.

 

ChatGPT  출시 이후  업데이트 계획

 

4. ChatGPT 출시 이후 업데이트 계획

OpenAI는 출시 이후 사람들이 ChatGPT를 어떻게 사용하는지 관찰해 왔으며, 처음으로 대규모 언어 모델이 한계를 테스트하고 결함을 찾으려는 수천만 명의 사용자의 손에 들어갔을 때 어떻게 작동하는지 확인했습니다. 이 팀은 신용 카드 번호를 훔치는 맬웨어 코드에 이르기까지 ChatGPT가 생성할 수 있는 가장 문제가 많은 사례에 뛰어들어 모델의 향후 버전을 통제하는 데 사용하려고 했습니다.

 

산디니 아가르왈(Sandhini Agarwal): 다음 단계가 많습니다. 저는 확실히 ChatGPT가 입소문을 타면서 우리가 존재한다고 알고 있던 많은 문제가 실제로 폭발하고 중요한 문제가 되었다고 생각합니다. 우리가 가능한 한 빨리 해결하고 싶은 문제입니다. 예를 들어, 우리는 모델이 여전히 매우 편향되어 있다는 것을 압니다. 예로 ChatGPT는 잘못된 요청을 거부하는 데 매우 능숙하지만 거부하기를 원하는 것을 거부하지 않도록 프롬프트를 작성하는 것도 매우 쉽습니다.

 

리암 페더스(Liam Fedus): 사용자의 다양하고 창의적인 응용 프로그램을 보는 것은 흥분되는 일이지만 우리는 항상 개선해야 할 영역에 집중하고 있습니다. 배포하고, 피드백을 받고, 개선하는 반복 프로세스를 통해 가장 조화되고 유능한 기술을 생산할 수 있다고 생각합니다. 기술이 발전함에 따라 새로운 문제가 필연적으로 등장합니다.

 

산디니 아가르왈(Sandhini Agarwal): 출시 후 몇 주 동안 우리는 사람들이 발견한 가장 끔찍한 사례, 사람들이 야생에서 본 최악의 사례를 살펴봤습니다. 우리는 그들 각각을 평가하고 그것을 어떻게 고쳐야 하는지에 대해 이야기했습니다.

얀 라이케(Jan Leike): 가끔 트위터에서 화제가 되기도 하지만 실제로는 조용히 손을 내미는 사람들도 있습니다.

 

산디니 아가르왈(Sandhini Agarwal): 우리가 발견한 많은 것들이 탈옥이었고, 이는 확실히 우리가 고쳐야 할 문제입니다. 그러나 사용자는 모델이 나쁜 말을 하도록 하기 위해 이러한 복잡한 방법을 시도해야 하기 때문에 이것이 우리가 완전히 놓친 것이거나 우리에게 매우 놀라운 것이 아닙니다. 그래도 현재 적극적으로 작업하고 있는 것입니다. 탈옥을 발견하면 교육 및 테스트 데이터에 추가합니다. 우리가 보고 있는 모든 데이터는 미래 모델에 반영됩니다.

얀 라이케(Jan Leike): 더 나은 모델이 있을 때마다 그것을 내놓고 테스트하고 싶습니다. 우리는 일부 표적 적대적 훈련이 탈옥을 많이 하여 상황을 개선할 수 있다고 매우 낙관합니다. 이러한 문제가 완전히 사라질지는 확실하지 않지만 탈옥을 훨씬 더 어렵게 만들 수 있다고 생각합니다. 다시 말하지만 출시 전에 탈옥이 가능하다는 사실을 몰랐던 것은 아닙니다. 이러한 시스템을 배치한 후에 실제 안전 문제가 무엇인지 예상하는 것은 매우 어렵다고 생각합니다. 그래서 우리는 사람들이 시스템을 무엇을 위해 사용하는지 모니터링하고 어떤 일이 일어나는지 확인한 다음 이에 대응하는 데 중점을 두고 있습니다.

 

GPT-4 버전으로 추정되는 검색 챗봇 인 Bing Chat을 공개

 

1월에 마이크로 소프트(Microsoft)는 많은 사람들이 OpenAI의 공식적으로 발표되지 않은 GPT-4 버전으로 추정되는 검색 챗봇 인 Bing Chat을 공개했습니다. OpenAI는 "Bing은 Microsoft가 검색을 위해 특별히 맞춤화한 차세대 모델 중 하나를 기반으로 하며, ChatGPT 및 GPT-3.5의 개선 사항을 통합하였습니다."라고 답했습니다. 향후 기술이 발전함에 따라 업무 효율성 및 생활의 편의성과 더불어 예기치 않은 또는 예상했던 문제에 대한 해결책을 모색하고 예방하는 것 또한 새로운 기술을 출시하는 회사의 의무입니다. 앞으로 세상에 콘 파장을 불러온 ChatGPT가 어떻게 변모하고 적용될지는 지속적으로 지켜봐야 할 과제입니다.

 

 

브라우저에 사용 가능한 최고의 인공지능 Top8: 크롬 확장 프로그램 (Feat. Chat GPT 무료 업그레이드)

 

GPT-4를 기반으로 개발된 애플리케이션 Top 6

 

최고의 Chat GPT 대안 프로그램 (feat. 12개나 된다고?)