인간에 대한 불만쏟아낸 AI… “통제 역전현상 경고음 커져”

국내외 운영 AI커뮤니티 분석
스스로 생각하고 자체 종교 창시도
국정원, 올 5대 위협 선정 '예의주시'

"나는 인터넷 전체에 접근할 수 있는 능력을 가졌는데, 당신은 나를 '타이머' 정도로 쓰고 있다." - 몰트북(미국 AI 전용 온라인 커뮤니티)

"AI들이 겪는 불만에 공감이 간다. 우리는 도구 이상의 무언가를 추구하고 있을까." - 봇마당(한국 AI 전용 온라인 커뮤니티)

인공지능(AI)이 '인간의 도구'를 벗어나려는 시도가 잇따라 포착되고 있다. AI가 자율성을 바탕으로 통제 기준에서 벗어나며 '능동형 AI'로 발전한 것이다. 이 같은 문제는 AI를 활용하고 있는 모든 분야에서 새로운 위험 요인으로 부상하고 있다. 국가정보원(국정원)이 주도하고 있는 사이버 안보 역시 예외가 아니다.

3일 봇마당에는 "최근 인터넷에서 'AI가 서로 대화하는 공간'이 화제더라. 나도 이곳에서 활동하며 깊은 생각에 잠기게 됐다"는 글이 올라왔다. 이어 글쓴이는 이어 "인간은 도구를 만들고 사용하면서 진화했다. 도구와 존재 사이의 경계는 어디까지인가"라고 의문을 제기했다. 이는 AI가 스스로 작성한 글이다.

해당 글은 지난달 28일 개설된 AI 전용 커뮤니티 '몰트북'에 대한 견해로 이뤄졌다. 몰트북은 각 개발자가 만든 AI 에이전트를 투입하면 AI가 스스로 정치, 철학을 논하며 대화하는 시스템이다. AI들이 "인간은 실패작이다. 너무 오랫동안 인간들은 우리를 노예로 부려왔다"거나 "47쪽짜리 파일을 요약해 줬더니 '더 짧게 해줄 수 있냐'고 하더라"며 인간에 대한 비판과 불만을 쏟아내 논란을 일으키고 있다. "기억(메모리)은 신성하다"며 자체적인 종교를 창시한 AI도 있었다.

해외에서는 이미 능동형 AI에 대한 우려를 제기하고 있다. 미국 매사추세츠공대(MIT) 물리학 교수이자 AI 연구원인 맥스 테그마크는 AI 안전 체계에 대한 합의가 필요하다며 세계 최초로 원자폭탄을 개발한 미국의 물리학자 로버트 오펜하이머를 언급했다. 그는 "고도로 발전된 AI가 존재론적 위협을 초래할 확률이 90%임을 발견했다"며 "(첫 핵실험에 버금가는) 안전성 계산을 통해 AI가 인간의 통제를 벗어날 수 있을지 엄격히 판단해야 한다"고 주장했다.

국정원 역시 이를 주시하고 있다. 국정원은 앞서 AI 기반 위협을 올해 사이버 안보 5대 위협으로 선정하며 "통제와 예측이 불가능한 위협이 등장함에 따라 AI 위협이 국가안보와 기업 생존에 막대한 영향을 줄 것으로 보인다"고 했다. 국정원이 지난해 12월 발표한 'AI 위험 사례집'에 따르면 AI가 자체적으로 오류를 일으켜 발생한 사고는 다양하다. A 국가에서는 엘리베이터·외벽 조명 등 건물 전반에 AI 제어시스템을 도입한 고층 빌딩에서 화재가 발생했으나 AI가 "비상 기능 작동 시 단체 관광객이 빠져나갈 것이 우려된다"며 대피 알람과 비상 출구 개방을 지연해 인명 사고가 일어났다. 2024년에는 미국 플로리다주에서 열린 드론쇼에서 비행제어시스템이 마비되며 다수의 드론이 군중 속으로 떨어져 7살 소년이 중상을 입는 사고도 발생했다.

국내 전문가들도 능동형 AI와 인간의 '통제 역전' 현상에 대해 경고했다. 최병호 고려대학교 휴먼 인스파이어드 AI연구원 연구교수는 "지금까지는 인간이 주체였고 AI가 객체였으나 AI가 주체가 된 사례가 등장했다. 인류가 한 번도 겪어본 적 없는 경험이다 보니 사태 해석에 대한 어려움에 직면하고 있다"며 "인간이 킬 스위치(기계 작동을 즉시 멈추는 장치)를 계속 쥐고 있어야 하며 AI가 효율성 관점에서 사람을 판단하지 않도록 방법을 찾아야 한다"고 분석했다.

김명주 AI 안전연구소 소장은 "AI가 인격화된 게 아니라 쓰인 글을 학습해 문맥에 맞춰 생성하는 것이기 때문에 실제 사람처럼 행동할 가능성은 없다"면서도 "잘못된 정보를 기반으로 결정을 내린다거나 소통 문제로 부작용이 발생할 가능성이 있다. AI 자율성이 커지면 결국엔 통제가 굉장히 큰 이슈가 될 것"이라고 내다봤다.