법률 전용 생성형 AI들도 등장 (feat. 고질병, 환각 또는 헛소리)

법률 전용 생성형 AI들도 등장 (feat. 고질병, 환각 또는 헛소리)

 

로펌에서 생성형 AI를 사용하는 경우가 늘고 있고 법률 전용 생성형 AI들도 등장했다. 이들은 RAG라는 기술을 통해서 생성형 AI의 고질병인 환각 또는 헛소리를 제어할 수 있다고 홍보하지만 현실은 그렇지 못하다.

 

RAG란 일차 DB 검색을 통해서 만든 자료를 LLM에 제공하고 해당 자료를 바탕으로 답변을 생성하는 방법을 말한다. 비유하자면 구글 검색 결과를 주고 그것을 바탕으로 요약 또는 정리, 추론 같은 걸 시키는 것이다. 이렇게 하면 헛소리가 줄 것 같지만 연구 결과에 의하면 그렇게 만족스럽지 못하다.

 

GPT-4의 경우, 법률 관련 질문에 대한 응답의 절반 이상이 헛소리 이거나 불완전하다. RAG 기술을 동원한 법률 AI들도 GPT-4에 비해서 크게 개선된 것은 없었다.

 

오픈 AI가 자사의 GPT-4가 변호사 시험을 통과했느니 의사 시험을 통과했느니 떠들어 대지만 말도 안 되는 사기극이다. 미리 문제의 패턴을 학습하여 만든 조작극일 뿐이다.

생성형 AI에 간단한 질문 몇 개 해보고 대단하네 하는 사람들이 있지만, 복잡한 현실 문제를 진지하게 질문해 보면 답변의 상당 부분에 헛소리를 포함하고 있음을 쉽게 발견할 수 있다. 아무 문제가 없는 경우가 드물 정도다.

 

반응형

내가 생성형 AI에 대해서 부정적인 글을 많이 쓰지만 나는 적극적으로 생성형 AI를 많이 쓰는 사람이다. 생성형 AI 기술을 사용하는 서비스도 출시했고 스스로 많은 영역에서 사용하고 있고 또 그 효능도 안다. 생성형 AI는 답변을 검증할 능력이 되는 사람에게만 유용하다. AI 답변을 그대로 믿어 버리는 사람들은 이 도구를 쓰면 안 된다.

 

10년쯤에 기계번역이 한참 떠들썩할 때도 같은 말을 했다. 기계번역은 번역의 결과를 검증할 수 있는 사람에게만 유용하다고. 그러면 이런 도구를 왜 쓰느냐? 직접 문서 전부를 작성하는 것보다 남이 작성한 것을 검증하는 것이 시간 절약이 될 때가 있기 때문이다. 그러니까 작정하고 쓰면 인공지능이 쓴 것보다 나은 것을 내가 쓸 수 있어야 한다.

---

 

AI를 둘러싼 견제와 갈등 (feat. IT 업계의 최고의 화두, 인고지능)

 

 

애플이 생성형 인공지능(AI)을 적용한 첫 번째 서비스 (feat. ‘애플 인텔리전스)

 

코딩 없이 나만의 GPT 챗봇을 만드는 방법 (feat. 친구와 공유는 필수)