[Korean] GenAI에 대한 잡생각 (2/4): 가짜 정보, 사기, 피싱
Read this post in [English].
이 글은 4개 구성으로 나뉘어 있다.
- 1. AI의 발전, 디지털화된 ‘나’의 증명?
- 2. 가짜 정보, 사기, 피싱 (이 글)
- 3. Safe, Secure AI
- 4. AI 뇌피셜
AI의 발전은 사이버 보안 영역에서도 중요한 의미를 가진다. 특히, 피싱 공격의 발전은 AI 기술의 진화를 반영한다. 초기에는 텍스트, 사진 등을 통해 사람을 속이던 방법이 점차 음성(DeepVoice)이나 영상(DeepFake)을 이용하는 고도화된 기술로 발전하고 있다. 며칠 전에는 DeepFake 기술을 사용하여 기업의 CFO를 사칭하고, 비디오 컨퍼런스 콜을 통해 대규모 금융 사기를 성공시킨 사건이 발생했는데, 이러한 우려가 현실로 다가오고 있음을 보여준다.
이와 유사하게, DeepFake 등을 활용한 가짜 정보의 양산 문제도 심각하게 다뤄져야 할 것 같다. 2024년은 한국, 미국 등 여러 나라에서 주요 선거가 있는 해인데, 가짜 정보를 이용한 정치적 공격의 가능성이 매우 높아졌다. 기술을 활용한 정보 조작이 선거 결과에 영향을 미칠 수 있기 때문에, 이에 대한 대응책 마련이 시급한 것 같다.
이 문제에 대응하기 위해서일까? 작년 10월 미국 바이든 대통령이 발표한 “Safe, Secure AI”에 대한 행정명령에는 AI를 이용한 사기와 기만으로부터 미국인을 보호하기 위한 내용이 들어있다. 이 명령은 AI 생성 콘텐츠를 감지하고 공식 콘텐츠를 인증하는 표준과 모범 사례를 수립하는 것을 목표로 한다.
이에 따라 작년부터 MS, 구글, 메타 등 미국 빅테크 회사들은 이 문제에 대응하기 위해 제품에서 생성된 GenAI 결과물에 워터마크를 부착하는 등의 조치를 취하려는 움직임을 보이고 있다.
이러한 상황에서 중요한 질문은, 생성된 GenAI 결과물에 워터마크를 부착하는 조치가 충분할지, 향후 어떤 다른 방법으로 발전할 수 있을지, 그리고 오픈 소스나 자체 모델을 이용한 직접적인 공격에 대응할 수 있는 방법은 무엇인지에 대한 논의가 필요하지 않을까?
OpenAI가 Sora 모델을 발표하면서 홈페이지 메인에 모델의 안정성(Safety)과 관련된 내용을 명시한 것은, 이러한 노력이 진행하고 있다는 것을 시사한다. Sora safety 섹션의 내용을 간단히 살펴보면 다양한 관점에서 모델의 안정성과 관련된 고민을 하고 있다는 것을 느낄 수 있다.
We’ll be taking several important safety steps ahead of making Sora available in OpenAI’s products.
We are working with red teamers - domain experts in areas like misinformation, hateful content, and bias - who will be adversarially testing the model.
We’re also building tools to help detect misleading content such as a detection classifier that can tell when a video was generated by Sora.
We’re leveraging the existing safety methods … applicable to Sora as well.
Our text classifier will check and reject text input prompts that are in violation of our usage policies, like those that request extreme violence, sexual content, hateful imagery, celebrity likeness, or the IP of others.
Robust image classifiers that are used to review the frames of every video generated to help ensure that it adheres to our usage policies, before it’s shown to the user.
We’ll be engaging policymakers, educators and artists around the world to understand their concerns and to identify positive use cases for this new technology.
구글의 경우도 AI 모델의 책임감(Responsibility)을 강조하며 이러한 고민을 이어나가고 있다. AI Principles:
We will not design or deploy AI in the following application areas:
Technologies that cause or are likely to cause overall harm. … will incorporate appropriate safety constraints.
Weapons or other technologies whose principal purpose or implementation is to cause or directly facilitate injury to people.
Technologies that gather or use information for surveillance violating internationally accepted norms.
Technologies whose purpose contravenes widely accepted principles of international law and human rights.
이러한 안전 조치에도 불구하고, 기존의 AI 모델을 제약 없이 질의응답할 수 있는 상태로 변환하는 등의 방식을 통해(e.g., GPT의 DAN(Do Anything Now) 모드), 제약 없이 영상을 제작할 수 있는 방법이 나타날 것이다. 그런데 기존의 텍스트나 사진을 제약없이 생산하는 것과 비교했을 때, 영상의 경우 더 심각한 문제를 야기할 수 있지 않을까? Sora 모델을 DAN 모드로 만들어서 불법적인 영상을 만든다면 어떨까?
이러한 고민은 단순히 기술적 문제를 넘어서 사회적, 윤리적 고민을 포함하는 복합적인 문제로, 앞으로 다양한 이해관계자들의 협력이 필요할 것 같다.