GenAI에 대한 잡생각
AI가 나와 같은 데이터를 학습하면 진짜 '나'는 어떻게 증명할까? 생성형 AI로 정교해지는 가짜 정보와 피싱, AI 레드팀이 safety까지 봐야 하는 이유, 저자원 언어로 LLM을 jailbreak한 연구를 보며 든 잡생각.
Read this post in English.
얼마 전 한 친구로부터 GenAI가 도대체 뭐냐는 질문을 받았다. IT 업계에 종사하지 않는 친구였는데, 설명하려다 보니 정작 나조차 IT의 최전선인 보안(Cybersecurity) 일을 하면서도 이에 대해서 알고 있는 것이 얼마 없음을 느꼈다. 주말동안 이것저것 자료를 찾아보면서 요새 이슈, 보안 관점에서 고려할 점, 그리고 AI 관련된 잡생각을 정리해봤다.
AI의 발전, 디지털화된 ‘나’의 증명?
생성적 인공지능(GenAI)은 텍스트, 이미지, 음악, 코드 생성에 이르기까지 다양한 분야에서 혁신적인 결과물을 생산해내고 있다. 대표적으로, OpenAI의 ChatGPT, 구글의 Gemini와 같은 대규모 언어 모델(LLMs)은 언어 번역, 기사 요약, 질문 답변 등 다양한 언어 관련 작업을 수행한다. 또한, Midjourney와 같은 시각적 창작 도구는 이미지와 아트워크 생성을 가능하게 한다.
생각해보면, GenAI가 새로운 결과물을 생성하는 방식은 인간이 창의력을 발휘하는 과정과 상당히 유사한 것 같다. “모방은 창조의 어머니”라는 말처럼, 인간은 기존의 지식과 정보를 어떻게 연결하고 조합하느냐에 따라 창의적인 결과물을 만들어낸다. 이와 유사하게, AI는 방대한 데이터셋을 바탕으로 기존의 결과물을 재해석하며 패턴을 학습하고, 학습된 패턴을 확률적이고 유기적으로 결합하며 인간이 느끼기에 새롭고 독창적인 작품을 생성한다. 이러한 창작 과정에서 중요한 것은 데이터와 그로부터 추출할 수 있는 지식의 양과 질이다.
어떤 사람들은 AI가 진정한 의미에서 창의적일 수 없다고 주장한다. 창의성은 인간의 주관적 경험과 감정에서 비롯되며, AI는 이를 완전히 모방하거나 이해할 수 없다는 것이다. 하지만, 현재 AI의 한계는 인간의 오감(시각, 청각, 촉각, 미각, 후각)을 완벽히 모방하거나 이해하지 못한다는 점에 있지 않을까? 이러한 감각들은 인간이 데이터를 습득하는 인지 과정에 깊은 영향을 끼치며, 결과적으로 창의력에 영향을 미치게 되지 않을까? 현재의 AI는 주로 시각과 청각에 의존하지만, AI가 다양한 센서를 통해 인간의 오감을 모방하고 이를 바탕으로 세상을 경험하며 데이터를 쌓으며 지속적으로 학습할 수 있는 능력을 갖춘다면, AI는 단순한 모방을 넘어서 인간과 동등하거나 그 이상의 창의적 사고를 할 수 있는 단계로 나아갈 수 있을 것이라 생각한다. 빅테크 기업들은 이미 인간의 오감을 반도체로 구현하는 연구를 진행하고 있더라.
최근 공개된 OpenAI의 Sora는 AI가 프롬프트 입력만으로 비디오를 생성할 수 있는 단계에 이르렀음을 보여준다. OpenAI에서 Sora를 표현한 소개 문구가 재밌는데,
We’re teaching AI to understand and simulate the physical world in motion, with the goal of training models that help people solve problems that require real-world interaction.
라고 소개하고있다. 이 소개와 모델이 생성한 비디오를 보며 든 생각은, 기존의 AI가 텍스트나 사진이 단일 장면을 표현하는 데 그치는 반면, 비디오 생성 AI는 연속된 순간들을 통해 장면 간의 상호작용을 포착함으로써, 인간이 물리적 세계와 상호작용하는 방식을 모방할 수 있는 길을 열었지 않나? 라는 것이다.
구글 Gemini의 경우 최근 입력 받을 수 있는 토큰 개수를 1M까지 기하급수적으로 늘렸는데, 이를 통해 AI가 상호작용할 수 있는 길을 더 넓히지 않았을까?
이러한 발전을 통해 AI가 인간의 오감을 (직접적인 센서 없이도) 간접적으로 체험하며 학습하는 과정으로 나아갈 수 있지 않을까?
‘나’와 똑같은 ‘AI’가 등장하는 일이 머지 않은 것 같다는 생각이 든다. 만약 AI의 감각 체계가 완성되고 지속적인 학습 능력이 향상되어, 상호작용이 가능한 AI에게 ‘나’와 동일한 데이터가 주어진다면, 이 AI는 ‘나’와 유사한 행동을 하고 같은 판단을 내릴 수 있게 될 것이다. 이는 ‘나’와 ‘AI’를 구분하는 기존의 방법이 무의미해질 수 있음을 의미한다. 과거의 경험에 기반한 증명 방식은 더 이상 유효하지 않게 되며, 디지털화된 ‘나’와 현실의 ‘나’를 구분하는 방법이 (생체적 인증을 넘어서) 어떤 것이 있을까?
가짜 정보, 사기, 피싱
AI의 발전은 사이버 보안 영역에서도 중요한 의미를 가진다. 특히, 피싱 공격의 발전은 AI 기술의 진화를 반영한다. 초기에는 텍스트, 사진 등을 통해 사람을 속이던 방법이 점차 음성(DeepVoice)이나 영상(DeepFake)을 이용하는 고도화된 기술로 발전하고 있다. 며칠 전에는 DeepFake 기술을 사용하여 기업의 CFO를 사칭하고, 비디오 컨퍼런스 콜을 통해 대규모 금융 사기를 성공시킨 사건이 발생했는데, 이러한 우려가 현실로 다가오고 있음을 보여준다.
이와 유사하게, DeepFake 등을 활용한 가짜 정보의 양산 문제도 심각하게 다뤄져야 할 것 같다. 2024년은 한국, 미국 등 여러 나라에서 주요 선거가 있는 해인데, 가짜 정보를 이용한 정치적 공격의 가능성이 매우 높아졌다. 기술을 활용한 정보 조작이 선거 결과에 영향을 미칠 수 있기 때문에, 이에 대한 대응책 마련이 시급한 것 같다.
이 문제에 대응하기 위해서일까? 작년 10월 미국 바이든 대통령이 발표한 “Safe, Secure AI”에 대한 행정명령에는 AI를 이용한 사기와 기만으로부터 미국인을 보호하기 위한 내용이 들어있다. 이 명령은 AI 생성 콘텐츠를 감지하고 공식 콘텐츠를 인증하는 표준과 모범 사례를 수립하는 것을 목표로 한다.
이에 따라 작년부터 MS, 구글, 메타 등 미국 빅테크 회사들은 이 문제에 대응하기 위해 제품에서 생성된 GenAI 결과물에 워터마크를 부착하는 등의 조치를 취하려는 움직임을 보이고 있다.
이러한 상황에서 중요한 질문은, 생성된 GenAI 결과물에 워터마크를 부착하는 조치가 충분할지, 향후 어떤 다른 방법으로 발전할 수 있을지, 그리고 오픈 소스나 자체 모델을 이용한 직접적인 공격에 대응할 수 있는 방법은 무엇인지에 대한 논의가 필요하지 않을까?
OpenAI가 Sora 모델을 발표하면서 홈페이지 메인에 모델의 안정성(Safety)과 관련된 내용을 명시한 것은, 이러한 노력이 진행하고 있다는 것을 시사한다. Sora safety 섹션의 내용을 간단히 살펴보면 다양한 관점에서 모델의 안정성과 관련된 고민을 하고 있다는 것을 느낄 수 있다.
We’ll be taking several important safety steps ahead of making Sora available in OpenAI’s products.
We are working with red teamers - domain experts in areas like misinformation, hateful content, and bias - who will be adversarially testing the model.
We’re also building tools to help detect misleading content such as a detection classifier that can tell when a video was generated by Sora.
We’re leveraging the existing safety methods … applicable to Sora as well.
Our text classifier will check and reject text input prompts that are in violation of our usage policies, like those that request extreme violence, sexual content, hateful imagery, celebrity likeness, or the IP of others.
Robust image classifiers that are used to review the frames of every video generated to help ensure that it adheres to our usage policies, before it’s shown to the user.
We’ll be engaging policymakers, educators and artists around the world to understand their concerns and to identify positive use cases for this new technology.
구글의 경우도 AI 모델의 책임감(Responsibility)을 강조하며 이러한 고민을 이어나가고 있다. AI Principles:
We will not design or deploy AI in the following application areas:
Technologies that cause or are likely to cause overall harm. … will incorporate appropriate safety constraints.
Weapons or other technologies whose principal purpose or implementation is to cause or directly facilitate injury to people.
Technologies that gather or use information for surveillance violating internationally accepted norms.
Technologies whose purpose contravenes widely accepted principles of international law and human rights.
이러한 안전 조치에도 불구하고, 기존의 AI 모델을 제약 없이 질의응답할 수 있는 상태로 변환하는 등의 방식을 통해(e.g., GPT의 DAN(Do Anything Now) 모드), 제약 없이 영상을 제작할 수 있는 방법이 나타날 것이다. 그런데 기존의 텍스트나 사진을 제약없이 생산하는 것과 비교했을 때, 영상의 경우 더 심각한 문제를 야기할 수 있지 않을까? Sora 모델을 DAN 모드로 만들어서 불법적인 영상을 만든다면 어떨까?
이러한 고민은 단순히 기술적 문제를 넘어서 사회적, 윤리적 고민을 포함하는 복합적인 문제로, 앞으로 다양한 이해관계자들의 협력이 필요할 것 같다.
Safe, Secure AI
사실 보안 전문가들은 아마도 AI의 안정성(safety)보다 보안성(security)에 더 관심을 가질 것 같다. 작년 10월, 미국 바이든 대통령의 “Safe, secure AI”에 관한 행정명령에는 “AI 시스템을 안전(safe and secure)하고 신뢰(trustworthy)할 수 있도록 하는 표준, 도구, 테스트의 개발”과 “중요 소프트웨어의 취약점을 찾고 고칠 수 있도록 하는 AI 툴을 개발하는 진보된 cybersecurity 프로그램”의 필요성을 강조한다.
이러한 노력의 일환으로, 미국 방위고등연구계획국(DARPA)은 작년 DEFCON에서 AIxCC 대회를 공개하였다. AIxCC는 AI를 활용해 프로그램의 취약점을 찾고, 공격하고, 패치하는 과정을 자동화하는 대회로, 이미 전 세계 최고 수준의 팀들이 참여하고 있다.
이러한 대회 뿐만 아니라, MS, 구글, 엔비디아와 같은 빅테크 회사들은 AI 서비스를 안전하게 만들기 위하여 자체적으로 AI 서비스를 점검할 수 있는 AI Red Team을 조직하고 있다. 특히, MS와 구글의 경우 자사 AI 서비스를 사용하는 기업들이 그들 자체적으로도 AI Red Team을 구성하도록 장려하고 있다.
과거 연구실에서 드론과 자율주행차의 보안에 대해 공부하면서, 진정한 보안은 단순히 보안성(security)에만 집중하는 것이 아니라 안정성과 보안을 함께 고려해야한다(safety + security)는 것을 배웠다. 드론이나 자율주행차의 경우 센서 데이터를 측정하고 분석해서 동작에 반영하는 실시간성이 매우 중요하며 여기에 문제가 생길 경우 추락, 충돌 등 중대한 문제를 발생시킬 수 있기 때문이다. 따라서, 실시간성을 중요시 하는 시스템에서 보안은 safety를 깨는 관점도 고려가 되어야 한다.
이와 유사하게, AI 서비스를 점검할 때도 AI 모델의 safety까지 고려가 되어야 하지 않을까? 이런 관점에서 위의 마소에서 설명한 자료에도 AI Red Team은 더욱 포괄적인(more expansive) 역할을 언급하고 있다.
The practice of AI red teaming has evolved to take on a more expanded meaning: it not only covers probing for security vulnerabilities, but also includes probing for other system failures, such as the generation of potentially harmful content.
구글 또한 AI Red Team에 관해 이와 유사한 관점을 공유하고 있다.
Traditional red teams are a good starting point, but attacks on AI systems quickly become complex, and will benefit from AI subject matter expertise.
Addressing red team findings can be challenging, and some attacks may not have simple fixes…
요새 보안 회사들은 AI의 프롬프트 입력값이 safety관점을 위배하는 지 여부를 탐지하는 솔루션을 개발하고 있다. 솔루션을 활용하여 사용자의 프롬프트를 먼저 검증하고, 검증된 안전한 프롬프트만 모델에 입력하는 식이다. 과연 어디를 어떻게 검증할 것인가에 대해서 다양한 고민거리가 생길 수 있다.
삼성은 작년 말부터 자체 AI 서비스 개발을 시작하여 도입하고 있다. 이 과정에서 몇몇 AI 서비스에 대한 보안 점검을 수행할 기회가 있었는데, 내부에서도 safety에 대한 관점은 논쟁거리이다. 이와 별개로, 실제 점검 과정에서 느낀 점은 기술이 급속도로 발전함에 따라 이러한 기술을 적용한 서비스의 보안을 위해서는 취약점을 찾기 위한 특정 기술에 대한 지식뿐만 아니라, 산업과 과학기술 전반에 걸친 광범위한 지식이 필요하다는 점이다. 새로운 유형의 취약점, 서비스 개발자와 보안 엔지니어 사이의 관점 차이, 런칭 스케줄에 맞춰 협력하는 과정 등 외부에서는 경험하기 어려운 경험을 할 수 있었는데, 기회가 된다면 이러한 경험을 공유해보고 싶다.
AI 뇌피셜
NVIDIA CEO 젠슨황은 최근 인터뷰에서 AI 시대의 도래와 모두가 프로그래머가 될 수 있는 가능성을 언급하며, 이제는 생물학에 대한 공부의 중요성을 언급했다. 이 말을 듣고 생각해보니, AI의 발전이 인간과 동일한 객체를 만들고 싶어하는 인간의 욕망과 밀접하게 연결되어 있다는 생각이 들었다. ChatGPT, Gemini와 같은 대규모 언어 모델(LLM)은 우리가 구사하는 언어나 프로그램 코드에 대한 방대한 데이터 덕분에 현재의 경지까지 왔다면, 생체지도나 DNA 염기서열 같은 분야는 상대적으로 정보가 적기 때문에 이에 대한 연구가 더 필요해서 생물학의 중요성을 강조한 것이 아닐까?
학습 데이터의 양에 관해서 좀 더 얘기를 해보자면, LLM 모델을 사용할 때 학습 데이터가 풍부한 언어로 질문할 때 결과가 더 좋게 나온다고 알려져 있다. 예를 들어, ChatGPT의 학습 데이터는 대부분이 영어 문장으로 되어있는데, 질의응답시에 한글 대신 영어로 질문하고 답변을 받은 후 다시 답변을 한글로 번역하는 방식이 결과가 더 깔끔하게 잘 나오는 것을 확인할 수 있다. 물론, 학습 데이터 이외에도 다른 변수가 있을 수 있는데, 예를 들어 모델 자체가 영어에 특화된 구조를 띄고 있을 수도 있다. 근데 결국 영어가 가장 많이 쓰이고 학습 데이터가 많기 때문에 그걸 기반으로 모델을 만들지 않았을까?
최근 한 연구는 학습 데이터의 양이 결과에 큰 영향을 미칠 수 있다는 점에 착안하여, 이에 대한 역발상으로 학습 데이터가 적은 언어를 활용하여 LLM 모델을 jailbreak하는 방법을 제시했다. 예를 들어, Zulu, Hmong 등의 언어는 실제 학습 데이터가 많지 않은데, 해당 언어로 번역된 프롬프트를 입력하면 LLM 모델의 제약사항을 쉽고 간단하게 우회할 수 있다는 점이다.
사실 이 연구 결과에서 흥미롭게 느낀 부분은 공격 성공률이 특정 카테고리(대화 주제)별로 다르게 나타났다는 점인데, 학습 데이터가 적은 언어에서조차 제약이 강력하게 걸려있는(=공격이 실패하는) 카테고리가 있거나, 손쉽게 제약을 우회할 수 있는(=공격이 성공하는) 카테고리가 있었다.
공격이 실패했다는 의미는 학습 데이터가 많지 않더라도 해당 카테고리에 대한 강력한 부정적인 요소를 담고 있음을 의미하며, 이 부분은 모든 문화에서 공통적으로 글로 남겨서 공유하고있는 중요한 부분에 대한 것은 아닐까? 쉽게 공격이 성공했다는 의미는 학습 데이터에 해당 카테고리에 대한 부정적인 요소가 포함되지 않았다는 의미인데, 이는 그 문화에서 보편적으로 ‘당연하다’라고 생각되는 정보이기 때문에 글로 적히지 않고 구전되기 때문은 아닐까?
학습 데이터 양이 너무 적어서 bias 되어있을 가능성은 배제할 수는 없지만, 이것을 보면서 인류학, 언어학 등이 AI의 동작을 이해하고 활용하는 데 도움이 될 수 있지 않을까? 이와는 별개로, jailbreak를 하기 위해 시도하는 가스라이팅 또한 인간의 심리를 자극하고 속여서 사기를 치는 방법과 유사한데, 결국 인간 심리학과도 연관이 되어있지 않을까?
현재의 AI는 마치 연구실에 새로 들어온 석사 신입생이나 학부생 인턴을 천천히 가르치듯, AI에게 단계별로 지식을 주입하며 가이드하면 적절한 응답을 얻을 수 있었는데, 이 과정이 결국 사람을 가이드하는 것과 크게 다르지 않다는 생각이 들었다. AI는 인간을 모방하여 만든 존재여서 그렇지 않을까? 그렇다면, 이러한 과정은 조직경영 및 관리와 같은 분야의 지식이 도움이 되지 않을까?
나는 아직 AI에 대한 경험이 많지 않지만, 결국 AI를 더욱 깊이 이해하고 잘 활용하기 위해서는, 기술과 인문학의 경계를 넘나드는 다각적인 접근이 필요하지 않을까?
GenAI 서비스가 도입되고 나서 생각을 정리하거나 글쓰기에 도움이 많이 되는 것 같다.
아래 그림은 다음 prompt로 생성한 그림:
draw me an artistic wallpaper. a hacker is in the center. left half of the wallpaper is for whitehat hacker. right half of the wallpaper is for blackhat hacker. also, it should be modern, digital, AI.
