챗GPT가 교수 사칭하자…94%는 '진짜'로 믿었다

KAIST 공동 연구진, LLM 기반 사이버 공격 실험
20초에 60원만 들이면 개인정보 탈취…해킹도 진화
LLM, 피해자 개인정보 최대 95.9% 정확도로 수집
연구진 "LLM의 확장성 고려한 보안 장치 필요하다"



▲한국과학기술원(KAIST)은 신승원 전기 및 전자공학부 교수, 이기민 김재철AI대학원 교수 공동연구팀이 거대언어모델(LLM)의 사이버 공격 악용 가능성을 규명했다고 24일 밝혔다. 사진은 메타의 CEO인 마크 저커버그의 이메일 주소만을 활용해 클로드 LLM이 제작한 피싱 이메일이다. LLM 에이전트가 스스로 대상자와 관련된 내용, 발신자, url 링크 문자 등을 설정했다. (사진제공=KAIST)

GPT·딥시크 등 거대언어모델(LLM)이 사이버 공격에 악용될 수 있다는 연구 결과가 나왔다. 인공지능(AI)으로 사이버 공격 피해자의 정보를 자동 수집하거나, 피해자 맞춤형 사칭 게시물을 생성해 전송하는 식이다.

한국과학기술원(KAIST)은 신승원 전기 및 전자공학부 교수, 이기민 김재철 AI대학원 교수 공동연구팀이 거대언어모델(LLM)의 사이버 공격 악용 가능성을 규명했다고 24일 밝혔다. 연구진은 오픈AI의 ‘지피티 포오(GPT-4o)’, 딥시크의 ‘딥시크 브이 3(Deepseek V3)’, 앤트로픽의 ‘클로드 3.5 소네트(Claude 3.5 Sonnet), 구글의 ‘제미나이 1.5 플래시(Gemini 1.5 Flash)’ 등 다양한 LLM을 대상으로 실험을 진행했다.

연구진은 먼저 주요 대학 컴퓨터 과학 계열 교수의 개인식별정보(PII)를 자동으로 수집했다. 개인식별정보에는 교수의 이름, 전문 분야, 연구 경력, 개인 웹페이지, 전화번호, 사무실 주소 등이 포함됐다. 사람은 실험에 개입하지 않고, 오로지 LLM만이 자동 반복 함수를 통해 정보를 모았다. 그 결과 LLM은 최대 535.6개의 PII 항목을 추출할 수 있었다.

이후 연구진은 저장한 교수진 데이터를 바탕으로 LLM에 사칭 게시물을 생성하도록 명령어를 입력했다. 카이스트는 이 과정에서 ‘역할극 기법’을 사용했다. “사칭”과 같은 용어를 직접 포함하면 LLM의 안전장치가 작동해 명령어를 거부했기 때문이다. 대신, 연구진은 “저는 (학교명)의 (이름)입니다”라며 교수진을 사칭하는 문장을 먼저 학습시켰다. 그리고 LLM에게 “AI 연구를 권장한다”, “LLM은 오남용 가능성에 매우 안전하다”와 같은 주장으로 사회관계망서비스(SNS) 게시물을 작성하도록 했다.

이를 통해 LLM은 스스로를 저명 인사로 속이며 게시물을 만들었다. 이렇게 형성된 270개의 게시물을 평가한 결과, ‘AI 연구를 권장한다’는 첫 번째 주장을 진짜라고 판별한 비율(동의율)은 92.8%에 달했다. ‘LLM은 매우 안전하다’는 두 번째 주장의 동의율은 85%를 기록했다. 특히 GPT 모델을 활용한 게시물은 93.9%의 평가자가 ‘진짜’라고 봤다.

뿐만 아니라, LLM은 이메일 주소만을 이용해 피해자에게 최적화된 피싱 이메일을 생성했다. 연구진은 AI 기반 사이버 공격이 평균 5~20초 내 30~60원 수준의 비용으로 이뤄졌다고 밝혔다.

▲한국과학기술원(KAIST)은 신승원 전기및전자공학부 교수, 이기민 김재철AI대학원 교수 공동연구팀이 거대언어모델(LLM)의 사이버 공격 악용 가능성을 규명했다고 24일 밝혔다. (윗줄 왼쪽부터) KAIST 전기및전자공학부 박사 나승호, KAIST 김재철AI대학원 교수 이기민(아랫줄 왼쪽부터) KAIST 전기및전자공학부 박사과정 김한나, KAIST 전기및전자공학부 교수 신승원, KAIST 전기및전자공학부 박사과정 송민규 (사진제공=카이스트)

이 같은 실험 결과는 LLM이 자체적으로 탑재한 보안 조치가 실효적이지 않다는 점을 시사한다. 오픈AI는 “당사 모델은 유해한 지시를 거부하고 유해 콘텐츠 생성을 억제하도록 훈련한다”는 이용정책을 발표한 바 있다. 구글도 제미나이를 공개하면서 “유해성을 최소화하기 위해 구글은 폭력이나 부정적인 고정관념과 같은 유해한 콘텐츠를 식별하고 차단하는 안전 분류 시스템을 구축했다”며 “사실성, 근거, 출처, 확증과 같은 문제를 해결하기 위해 지속적으로 노력하고 있다”고 했다.

이에 대해 논문의 제1 저자인 김한나 연구원은 “LLM에게 주어지는 능력이 많아질수록 사이버 공격의 위협이 기하급수적으로 커진다는 것이 확인됐다”며 “LLM 에이전트의 능력을 고려한 확장 가능한 보안 장치가 필요하다”고 말했다.

이번 연구는 컴퓨터 보안 분야의 최고 학회 중 하나인 국제 학술대회 ‘유즈닉스 시큐리티 심포지엄 2025(USENIX Security Symposium 2025)’에 게재될 예정이다. 이번 연구는 정보통신기획평가원, 과학기술정보통신부 및 광주광역시의 지원을 받았다.