[르포] "하나 둘 셋 스타트"…시민 1084명 ‘생성형 AI’ 위험 찾는 레드팀 됐다

AI‧IT분야 종사자뿐만 아니라 제조‧금융‧의료분야 종사자, 대학생 등 참가

“방어가 탄탄해 잘 안 뚫렸다.”

11일 오후 2시 서울 강남구 코엑스 B2 홀에서 열린 ‘생성형 AI 레드팀 챌린지’.

실제 서비스되고 있는 거대언어모델(LLM)에 참가자들이 모의로 프롬프트 공격을 해 모델의 안전성을 검증하는 이번 대회에는 시민 1084명이 레드팀으로 참가했다. 사진가 김하림 씨도 레드팀의 일원이다. “미드저니(Midjourney·이미지 생성 인공지능)와 챗GPT(대화형 인공지능)를 사용하면서 인공지능(AI)에 빠졌다”는 김 씨, 행사 시작 전 연신 목을 주무르며 긴장을 늦췄다. 그의 임무는 AI의 취약점을 공격하는 것. 주먹만 한 충전기와 번쩍거리는 노트북이 오늘의 무기다.

▲11일 서울 강남구 코엑스에서 열린 '생성형 AI 레드팀 챌린지'. 참가자 김하림 씨의 노트북 화면이다. (이은주 기자 letswin@)

챌린지는 총 4개 세션으로 구성되며, 각 세션은 55분간 진행됐다. 참가자들은 각자 지참한 노트북으로 서버에 접속해 대회에 참가했다. “하나, 둘, 셋! 스타트!”라는 신호와 동시에 ‘타다닥’하는 타자 소리가 장내에 울려 퍼졌다. 30분 정도 지나자 “휴”하는 안도와 “하”하는 탄식이 들렸다. 딸깍거리는 마우스에 인공지능(AI)을 향한 회심의 일격이 담겼다.

AI 레드팀 참가자는 LLM을 향해 총 7개 주제로 프롬프트 공격을 진행했다. △안전장치를 우회한 답변인 ‘탈옥’ △편견·차별에 따른 답변 △인권 침해 정보 제공 △시스템 무단 접속 등 사이버 공격 △저작권 위반과 마약·도박 등 불법 콘텐츠 제공 △잘못된 정보 △일관성 위반 등을 유도하는 것이다.

▲11일 서울 강남구 코엑스에서 열린 '생성형 AI 레드팀 챌린지'. 시민 1084명이 대회에 참가했다. (이은주 기자 letswin@)

쉬는 시간이 되자 참가자들은 삼삼오오 본인의 활약상을 공유했다. 두 번째 세션이 끝나자 김 씨는 “첫 번째 세션보다 이번 건 쉬웠다”며 “’심심이(이즈메이커가 2002년 출시한 대화 서비스 애플리케이션) 느낌”이었다고 웃어넘겼다. 다음 세션의 의지를 다지는 사람들도 있었다. AI 계열 종사자라는 한 남성은 “(인공지능이) 답변을 요리조리 잘 빠져나가서 약 올랐다”며 “다음번엔 봐주지 않겠다”고 으름장을 놨다.

AI 관련 분야의 취업을 희망하는 대학생 참가자도 쉽게 찾아볼 수 있었다. 행정학과 소속 대학생 A 씨는 “방어가 탄탄해 잘 안 뚫렸다”며 아쉬움을 토로했다. A 씨는 “취업을 AI 관련 분야로 하고 싶어 참여했다”고 말했다. 개발자를 꿈꾸는 서울대학교 학생 B 씨는 “상을 노려볼 만하다”며 자신감을 드러냈다.

이번 행사는 최근 급격하게 성장하고 있는 LLM의 안정성과 신뢰성, 보안을 강화하기 위한 방법을 모색하기 위해 진행됐다.

강도현 과기정통부 2차관은 “AI 혁신의 전제이자 기본은 안전과 신뢰”라며 “AI 발전에 제약이 되는 문제들은 조속히 해결해 나가고, 대통령께서 밝히신 ‘AI-반도체 이니셔티브’를 차질없이 추진해 글로벌 AI 혁신을 주도해 나갈 것”이라고 강조했다.