이미 다들 잘 알고 계시는 챗GPT를 우리는 생성형 AI라고 합니다. 생성형 AI란 인공지능 기술의 한 종류로서 이미지, 비디오, 오디오, 텍스트 등을 포함한 대량의 데이터를 학습하여 사람과 유사한 방식으로 문맥과 의미를 이해하고 새로운 데이터를 자동으로 생성해 주는 기술을 의미합니다.

생성형 AI 기술 중 하나인 대규모 언어모델(Large Language Models; LLMs)은 일반적으로 수백억 개 이상의 파라미터를 포함하는 인공지능 모델을 의미하며 복잡한 언어 패턴과 의미를 학습하고 다양한 추론 작업에 대해 우수한 성능을 보유하고 있습니다. 대규모 언어모델 기반의 대표적인 AI 서비스로는 Stable Diffusion, Midjourney, 챗GPT, Bard, Firefly 등이 있습니다.

챗GPT가 등장한지 벌써 7개월이 지났습니다. 챗GPT의 인기가 높다보니 우리는 자연스럽게 궁금한 것들을 물어보게 됩니다. 과제에 대한 답을 묻기도 하고, 작문 할 일이 있을 때 사용하기도 합니다. 물론 회사에서 업무에 활용하는 경우도 많겠지요. 챗GPT를 잘만 활용한다면 업무 효율성을 높일 수 있는 것은 어찌보면 당연한 일일지도 모릅니다. 그리고 호기심으로 정말 내가 원하는 결과물을 진짜 알려주려나? 싶어 여러가지를 입력해보기도 합니다.

하지만 우리가 간과하는 문제 ‘보안’ 이 있습니다. 우리의 질문들을 수집할 수 있다는 것이지요. 단순히 ‘ㅇㅇㅇ 를 알려 줄래?’라든가 ‘너는 ㅁㅁㅁ를 알고 있니?’ 는 수집해도 별 문제가 없어보이지만, 굉장히 많은 내용을 챗GPT에 알려주고 ‘너는 이것에 대해서 어떻게 생각하니?’ 라고 물어 볼 수도 있겠지요?

오늘은 우리 모두 이미 다 알고 있는 이 챗GPT(생성형 AI)에 대한 우려와 보안에 대해 나눠볼까 합니다. 

생성형 AI의 명암

몇 년 전만 해도 AI는 단순 반복 업무 및 저숙련자 고용 위기로 논의되었습니다. 그러나 오픈AI의 논문에 따르면 정보를 다루는 고학력 지식노동자들이 GPT와 같은 LLM(초거대언어모델)의 영향에 더 크게 노출될 것으로 예상됐었습니다.

GPT와 같은 생성형 AI 활용에 있어서 신뢰성 이슈가 지속될 수 있습니다. 생성형 AI는 사람처럼 정보와 논리를 바탕으로 맥락에 따라 답을 추론하는 AI 모델이 아닙니다. GPT는 미리 학습된 단어 및 데이터 간의 관계를 파악해 확률이 높은 답을 ‘생성’ 합니다. 훈련된 정보나 지식이 부족하거나 부정확할 경우 그럴 듯하지만 오류가 많거나 무의미한 답변을 하기도 하죠.

생성형 AI로 만들어진 창작물의 저작권 침해, 윤리적 편견 등에 대한 부정적인 여파도 많습니다. 이미지 공급업체 게티이미지는 Stability AI를 저작권 침해 혐의로 고소했고, 국내에서도 카카오가 AI로 만든 카톡 이모티콘의 입점을 불허하는 등 저작권과 관련한 논의가 진행 중이다. 잘못된 학습에 따른 윤리적 편향성도 해결되어야 할 문제입니다.

생성형 AI 활용과정에서의 기밀이나 개인 정보노출에 대한 우려도 큽니다. 챗GPT나 각종 플러그인을 통해 질문한 자료는 AI서버에 저장되기 때문에 답변을 얻는 과정에서 프롬프트 인젝션 등 해킹을 통해 악의적으로 정보를 탈취할 가능성도 있습니다.

인공지능 대부의 구글 퇴사, 왜?

‘인공지능의 대부’로 불리는 제프리 힌튼은 인공지능 분야에서 가장 존경받는 인물 중 한 명 입니다. 2018년 IT 분야의 노벨상이라 불리는 튜링 어워드를 수상하기도 했습니다. 지난 10년간 힌튼은 구글 직원이자 교수로서 성공적인 삶을 살아왔습니다만, 2023년 5월 뉴욕타임스와의 인터뷰에서 AI의 잠재적 위협이 이전에 생각했던 것보다 더 빨리 다가올 것이라는 점을 세상에 경고하며 구글을 퇴사하였습니다. 이후에는 인공지능 개발 일시 중단 성명서에 서명을 하며 그동안의 삶과는 전혀 다른 행보를 보이고 있습니다.

힌튼은 AI가 일자리를 빼앗을 수 있는 당장의 위험과 일반인들에게 진짜처럼 보이는 가짜 사진, 동영상, 텍스트가 만연해 있다는 점이 위험하다고 꼽았습니다. 힌튼은 지금 우리가 만들어내는 디지털 지능은 생물학적 지능과는 완전히 다르다고 생각한다고 말했습니다.

얼마 전 한국국가정보원은 챗GPT 관련 보안 문제를 사전에 예방하기 위해 마련한 ‘챗GPT 등 생성형 AI 활용 보안 가이드라인’을 공개했습니다. 이번 가이드라인에는 생성형 AI기술과 관련한 △개요 및 해외동향(챗GPT 사례 중심) △보안위협 사례 △기술 사용 가이드라인 △국가·공공기관의 정보화사업 구축 방안 및 보안대책 등이 담겼습니다. 어떤 내용인지 구체적으로 살펴볼까요?

잘못된 정보 제공

생성형 AI가 정확히 무슨 데이터를 학습하는지는 알기 어렵습니다. 따라서 학습 데이터의 불균형 또는 데이터 내의 직·간접적인 편향은 AI 모델의 편향으로 이어질 수 있으며, 이는 모델이 만들어내는 결과물에 영향을 미쳐 사용자에게 사실과 다른 정보를 제공할 수 있습니다.

그리고 특정 생성형 AI 모델은 최종 학습 데이터 시점까지의 정보만 가지고 있기 때문에 학습 이후에 발생한 사건이나 정보에 대해서는 알지 못하거나, 부정확한 정보를 제공할 수 있습니다.

환각(Hallucination) 현상은 AI 모델의 결과물이 정확한 것처럼 생성되었으나 실제로는 거짓인 경우를 말합니다. 즉, AI 모델은 새로운 콘텐츠를 생성할 수 있는 능력으로 인해 잘못된 정보나 존재하지 않는 정보를 생성할 수 있다는 특징을 가지고 있다. 이러한 환각 현상은 AI 모델의 신뢰성을 저하시키는 원인이 될 수 있습니다. 이는 사회적 혼란 조장 하거나 검증되지 않은 결과물의 공유로 잘못된 의사 결정을 일으킬 수 있게 됩니다.

AI 모델은 사실적이고 믿기 쉬운 콘텐츠를 생성할 수 있습니다. 이를 통해 사용자는 다른 사람들을 조작하거나 사기를 칠 수 있는 잠재적인 도구를 얻을 수 있습니다. 이는 사회 공학적 공격을 더욱 쉽게 만들고, 사람들이 피해자가 될 위험성을 증가시키게 됩니다.

이는 매우 사실적인 텍스트, 이미지, 오디오 등을 만들 수 있습니다. 이는 악의적인 사용자가 이를 이용해 위조된 정보, 즉 '딥페이크'를 만드는 데 사용될 수 있습니다. 이는 개인의 사생활 침해, 허위 정보 유포 등에 사용될 수 있으며, 이로 인한 보안 위협이 증가하고 있습니다.

그리고 생성형 AI 모델은 심지어 가짜 뉴스를 생성하는 데 사용될 수 있습니다. 특히, 챗GPT 등 대규모 언어모델은 인간이 생성하는 수준의 현실적이고 설득력 있는 결과물을 생성함으로써 허위 정보를 퍼뜨리는 데 악용이 가능합니다. 여러 언어로 번역하는데도 수초밖에 걸리지 않습니다.

챗GPT에서 경험해 볼 수 있듯이, AI 모델은 사용자가 제공하는 텍스트 스타일을 흉내 내는 데 매우 효과적 입니다. 이는 해킹 시도와 같은 곳에 활용될 수 있습니다. 피싱 이메일을 생성하거나, 특정 개인이나 단체의 말투를 도용하는 데 악용될 수 있습니다. 이렇게 생성된 정교한 피싱 이메일은 기존의 보안 시스템을 속이고, 사람들이 이를 진짜로 인식하게 만들 수 있습니다.

보안이야기를 조금 더 해볼까요? AI 모델은 소프트웨어 코드를 생성할 수 있습니다. 이는 AI 모델이 악성 코드 작성에 이용될 수 있음을 의미합니다. 해커는 이를 통해 보안 시스템을 회피하는 데 필요한 복잡한 악성 코드를 작성할 수 있으며, 이로 인해 정보 보안에 심각한 위협이 될 수 있습니다.

AI 모델은 학습 데이터에 기반하여 결과를 생성합니다. 따라서 개인정보가 포함된 데이터로 학습이 이루어질 경우, AI가 해당 정보를 부적절하게 공개할 가능성이 있습니다. 이 문제를 해결하기 위해 데이터를 처리하는 동안 적절한 프라이버시 보호 조치를 취해야 하며, 데이터를 충분히 일반화하고 개인정보를 제거해야 합니다.

그리고 AI 모델의 예측이나 생성을 조작하는 시도, 예를 들어 적대적 공격(adversarial attack) 등도 보안 위협으로 간주될 수 있습니다. 이를 통해 AI는 예상치 못한 방식으로 작동할 수 있으며, 이는 사용자에게 잠재적으로 해로운 결과를 초래할 수 있습니다.

그러나 이후 4월 28일, OpenAI가 DPA의 요구사항을 이행함에 따라 이탈리아 정부는 챗GPT의 접속 차단을 해제하였습니다. OpenAI는 가입 시 이탈리아에서 사용자의 나이를 확인할 수 있는 도구를 제공하고, 유럽 연합 사용자가 모델 학습을 위해 개인 데이터를 사용하는 것에 반대할 권리를 행사할 수 있는 새로운 양식을 제공하는 등 이탈리아 DPA에서 제기한 문제를 해결하거나 명확히 하였습니다.

챗GPT, 즉 생성형 AI에 발전 가능성이나 성장세와 같은 즐거운 이야기만 하지는 않았습니다. 문제가 있다고는 하지만 이용을 막을 수도 없고, 그렇다고 발전을 중단시킬 수도 없습니다. 올바른 활용을 위해 윤리 교육과 적절한 규제도 필요하다는 생각입니다. 아이폰이 나온 지 15년이 지난 지금, 우리 삶을 혁신적으로 바꿔줄 것이라 예상되는 챗GPT는 과연 우리 삶을 어떻게 바꿔놓을까요?

그리고 챗GPT는 엄청난 도구입니다. 이번 레터에서 보신 것처럼 엄청난 파급력만큼이나 역기능들을 가지고 있습니다. 특히 초반에 언급한 것처럼 기업 입장에서는 '보안' 문제에 대해 예민하게 접근하게 될 것입니다. 우리 임직원들은 코로나를 겪으면서 재택 근무에 대한 경험을 한 번씩은 해봤지요. 그러므로 회사 시스템 내에서 접근을 막았어도, 집에는 이미 중요한 회사 자료가 어느 정도 있을 수 있습니다.

임직원들의 '보안'에 대한 영역은 챗GPT를 정확하게 이해하는 교육과 동시에 직접적인 보안 의식을 함양하는 교육, 즉 결국 교육으로 풀어가야 하는 문제일 것입니다.

임직원들이 챗GPT를 잘 이해하면서 안전하게 접근한다면 업무 효율성을 정말 말도 안 되게 높이게 될 것입니다. 물론 반대의 기업도 있겠지요? 여러분의 기업은 챗GPT를 어떻게 사용하고 있나요?

마지막으로 국정원에서 공개한 ‘챗GPT 등 생성형 AI 활용 보안 가이드라인’에 포함된 <챗GPT 등 생성형 AI 활용 보안 수칙>을 살펴보면서 마무리하도록 하겠습니다.