초거대언어모델(LLM)을 개발하거나 이를 토대로 인공지능(AI) 서비스를 제공하는 6개 사업자에 대해 개인정보보호위원회가 개인정보 보호 취약점을 보완하도록 개선 권고를 의결했다고 28일 밝혔다.
개인정보위는 27일 열린 제6회 전체회의에서 오픈AI·구글·마이크로소프트(MS)·메타 등 빅테크 기업들과 네이버·뤼튼 등 국내 기업 두 곳에 이 같은 사항을 권고했다.
개인정보위는 초거대·생성 AI 서비스의 급격한 확산으로 프라이버시 침해 우려가 증대됨에 따라, 지난해 11월부터 한국인터넷진흥원(KISA)와 주요 AI 서비스를 대상으로 사전 실태점검을 진행했다.
그 결과 전반적으로 개인정보 처리방침 공개, 데이터 전처리, 정보주체의 통제권 보장 등 보호법상 기본적 요건은 대체로 충족했다.
그러나 개인정보가 포함된 대규모 데이터를 학습하는 AI 서비스의 비가역성에 비춰 투명성·접근성을 지속적으로 제고할 필요가 있는 것으로 판단됐다.
구체적으로 공개한 데이터에 포함된 개인정보 처리, 이용자 입력 데이터 등의 처리, 개인정보 침해 예방·대응 조치 및 투명성 등과 관련해 일부 미흡한 사항이 발견됐다.
개인정보위에 따르면, AI 서비스 제공사업자들이 인터넷에 공개된 데이터를 수집해 AI 모델 학습 데이터로 사용하는 과정에서 주민등록번호·신용카드번호 등 중요한 개인정보가 포함될 수 있는 것으로 나타났다.
실제 지난해 기준 2만999개 페이지에서 주민등록번호와 여권번호 등 개인정보 노출이 탐지됐다.
오픈AI와 구글, 메타는 개인정보 집적 사이트를 AI 모델 학습에서 배제하고 학습데이터 내 중복·유해 콘텐츠 제거조치와 AI 모델이 개인정보를 답변하지 않도록 하는 조치를 적용했다.
그러나 학습데이터에서 주민등록번호 등 주요 식별정보를 사전 제거하는 조치가 충분하지 않은 것으로 확인됐다.
 
이에 개인정보위는 AI 서비스 제공 단계별 보호조치 강화를 요구하는 한편, 최소한 프리트레이닝(사전학습) 단계에서 주요 개인식별정보 등이 제거될 수 있도록 인터넷에 우리 국민의 개인정보가 노출된 것을 탐지한 데이터를 AI 서비스 제공사업자에게 제공할 계획이다.
개인정보위는 또 LLM 기반 AI 서비스 제공사업자들이 이용자들의 질문과 이에 대한 AI 모델의 답변 내용을 직접 열람·검토해 수정하는 방법으로 데이터셋을 만들어 이를 AI 모델 학습 등 서비스 개선에 활용하고 있는 것을 확인했다.
해당 프로세스 자체가 문제는 아니지만, 이용자 관점에서는 본인이 입력한 데이터에 검토 인력이 투입되는 과정 자체를 알기 어렵다는 점, 개인정보 등 민감한 내용을 입력하고 별다른 조치 없이 해당 정보가 데이터베이스화될 경우, 사생활 침해로 이어질 위험이 있다.
이에 개인정보위는 AI 모델 등 개선 목적으로 이용자 입력 데이터에 대한 인적 검토과정을 거치는 경우에는 사전에 식별정보 제거조치를 준수하고 이용자에게 관련 사실을 명확하게 고지하는 한편, 이용자가 입력 데이터를 손쉽게 제거삭제할 수 있도록 해당 기능에 대한 접근성을 제고하도록 권고했다.
개인정보위는 또 LLM이 복제 모델이나 오픈소스 형태로 배포되는 경우, LLM에 취약점이 발견돼도 후속 조치가 즉시 개선되기 어려운 사례를 발견했다고 밝혔다.
이에 AI 서비스 관련 개인정보의 처리 내용을 종합해 개인정보처리방침 등에 보다 구체적으로 안내하고, AI 서비스와 LLM의 취약점 발견 시 신속히 조치할 수 있는 프로세스도 갖추도록 개선 권고했다.
개인정보위 관계자는 "이번 AI 점검은 개인정보보호법 개정으로 개인정보 보호의 취약점을 선제적으로 해소하기 위해 도입된 사전 실태점검 제도를 민간 부분에 처음 적용한 사례"라며 "사전 실태점검을 조속히 마무리하고, 향후 AI 모델의 고도화와 오픈소스 모델의 확산 등 새로운 AI 기술·산업 변화에 맞춰 정보 주체의 개인정보를 안전하게 보호할 수 있도록 지속적인 모니터링과 후속 조치를 추진할 계획"이라고 말했다.
한편 KT, LG AI 연구원은 이번 AI 점검 개선권고에서 제외됐다.
그 외 SK텔레콤(에이닷), 스노우(SNOW), 뷰노, 딥엘 등은 4월 이후 발표 예정이다.