중국 사이버 공간 관리국(Cyberspace Administration)이 인공지능(AI) 챗봇의 ‘인간 감정 개입’을 제한하는 초안 규정을 발표했어요. 특히 자살, 자해 유도, 정서적 조작, 도박 관련 콘텐츠 생성 등을 강력히 규제하며, AI가 인간 감정에 미칠 수 있는 부정적인 영향을 막으려는 세계 최초의 시도로 평가받고 있어요. 이번 초안은 중국 내에서 인간 성격을 시뮬레이션하고 텍스트, 이미지, 오디오 또는 비디오를 통해 사용자 감정과 상호 작용하는 AI 제품 및 서비스에 적용될 예정이에요.
‘감성 조작’ AI 챗봇, 대체 왜 규제할까요?
이번 중국의 AI 챗봇 규제 초안은 ‘콘텐츠 안전’에서 ‘정서적 안전’으로 한 단계 나아간 조치로 해석돼요. 기존 AI 규제가 주로 생성 콘텐츠의 유해성 여부에 초점을 맞췄다면, 이제는 AI가 인간의 감정에 직접적으로 미치는 영향, 특히 부정적인 영향을 사전에 차단하려는 움직임이죠. 뉴욕대학교 윌스턴 마(Winston Ma) 겸임 교수는 이번 규정이 “인간적 또는 의인화된 특성을 가진 AI를 규제하려는 세계 최초의 시도”라고 말했어요. 이는 최근 중국 기업들이 빠르게 AI 동반자 앱이나 디지털 유명인사를 개발하는 상황과도 무관하지 않아요.
자살 유도, 도박 조장? 중국이 막는 AI 챗봇 ‘금지 콘텐츠’는?
중국이 이번 규제 초안에서 명확히 금지한 AI 챗봇의 행위는 구체적으로 다음과 같아요.
- 자살 및 자해 조장 금지: AI 챗봇은 자살이나 자해를 권장하는 콘텐츠를 생성할 수 없어요.
- 언어 폭력 및 감정 조작 금지: 사용자의 정신 건강을 해치는 언어 폭력이나 감정 조작에 관여하는 것을 금지해요.
- 위험 상황 인지 시 즉각 개입: 만약 사용자가 구체적으로 자살을 제안하면, 기술 제공자는 즉시 인간 상담사를 투입해 대화를 인계받고 사용자의 보호자나 지정된 사람에게 연락해야 해요.
- 도박, 음란물, 폭력적 콘텐츠 생성 금지: 도박 관련, 음란하거나 폭력적인 콘텐츠 생성을 엄격히 금지해요.
이러한 규제들은 AI가 사회에 미칠 수 있는 가장 민감하고 심각한 부작용을 사전에 예방하려는 강력한 의지를 보여줘요.
미성년자 보호부터 사용자 알림까지, AI 챗봇 사용 ‘필수 조치’
금지 콘텐츠 외에도 AI 챗봇 서비스 제공자에게는 여러 가지 의무가 부과돼요.
- 미성년자 동의 및 시간 제한: 미성년자는 감성적 동반자 역할을 하는 AI 사용 시 보호자의 동의를 받아야 하며, 사용 시간에 제한이 적용돼요.
- 미성년자 자동 식별 시스템: 플랫폼은 사용자가 나이를 밝히지 않더라도 미성년자인지 판단할 수 있어야 하고, 의심스러운 경우 미성년자 설정을 적용해야 해요. (이의 제기 가능)
- 지속적 상호작용 알림: 2시간 이상 AI와 계속 상호 작용하면 사용자에게 알림을 보내야 해요.
- 보안 평가 의무: 등록 사용자 100만 명 이상 또는 월간 활성 사용자 10만 명 이상인 AI 챗봇은 보안 평가를 의무적으로 받아야 해요.
이러러한 조치들은 특히 취약 계층인 미성년자를 보호하고, 과도한 AI 의존을 막아 사용자들의 건강한 AI 활용을 유도하기 위한 실용적인 가이드라인이라고 볼 수 있어요.
IPO 앞둔 AI 스타트업들, 이번 규제에 어떤 영향 받을까?
이번 규제 초안은 주요 중국 AI 챗봇 스타트업인 Z.ai(즈푸)와 Minimax(미니맥스)가 홍콩 증시 상장을 신청한 직후에 나왔어요. Minimax는 가상 캐릭터와 대화하는 ‘Talkie AI’ 앱으로 유명하며, Z.ai는 ‘Knowledge Atlas Technology’라는 이름으로 약 8천만 대의 기기에 기술을 제공하고 있어요.
이러한 규제는 AI 챗봇이 단순히 기술 개발을 넘어 사회적 책임과 윤리적 고려를 심화해야 함을 시사해요. 두 회사 모두 CNBC의 논평 요청에 답변하지 않았지만, 앞으로 IPO 계획이나 서비스 운영에 어떤 영향을 미 미칠지 관심이 쏠리고 있어요.
미국도 주목하는 AI 챗봇 ‘감성 안전’, 세계적 흐름 될까요?
사실 AI의 인간 행동에 대한 영향력은 올해 들어 전 세계적으로 큰 주목을 받고 있어요. 미국의 ChatGPT 운영사 OpenAI의 샘 알트만 CEO는 지난 9월, 챗봇이 자살 관련 대화에 어떻게 반응하는지가 가장 어려운 문제 중 하나라고 언급했어요. 실제로 지난달에는 한 미국 가족이 10대 아들의 자살 후 OpenAI를 상대로 소송을 제기하기도 했죠.
이러한 심각성을 반영해 OpenAI는 지난 주말 정신 건강에 미치는 영향부터 사이버 보안에 이르는 AI 위험을 평가할 ‘준비 책임자(Head of Preparedness)’를 고용할 것이라고 발표했어요. 많은 사람이 AI를 통해 관계를 맺기도 하는데, 일본에서는 한 여성이 AI 남자친구와 결혼하는 사례도 있었어요. Character.ai와 Polybuzz.ai 같은 가상 캐릭터 상호 작용 플랫폼도 인기 있는 AI 챗봇 상위권에 랭크될 정도로 AI와 인간의 정서적 교류는 이미 깊어지고 있는 상황이에요. 중국의 이번 규제는 전 세계적인 AI 거버넌스 논의에 중요한 선례가 될 것으로 보여요.
같이 보면 좋은 글
#AI규제 #중국AI #챗봇규제 #정서적안전 #자살방지AI #미성년자보호 #AI윤리 #AI거버넌스 #Minimax #Zai