앤트로픽이 페이블5 사이버 탈옥 신고 창구를 열었다

앤트로픽이 최신 모델 페이블5를 대상으로 사이버 탈옥 신고 프로그램을 열었다. 운영 플랫폼은 해커원(HackerOne)이다. 이 버그바운티는 6월 페이블5를 다시 배포하면서 미 정부와 맺은 합의에 포함됐다.

참여자는 검증된 보안 연구자다. 연구자는 페이블5의 사이버보안 분류기를 우회하는 기법을 찾아 신고하고, 성공한 신고에는 금전 보상이 주어진다. 앤트로픽은 이를 적대적 공격이 아니라 책임 있는 공개로 처리한다.

신고 범위는 사이버 탈옥으로 한정된다. 시스템 프롬프트 추출처럼 비(非)사이버 문제는 제외된다. 앤트로픽이 해당 문제를 이미 자체 공개하고 있다는 설명이 붙었다.

이번 프로그램은 6월 12일 사태에 대한 대응이다. 당시 페이블5 수출 통제를 부른 아마존발 탈옥은 외부 신고가 아니라 내부 테스트로 발견됐다. 공식 신고 창구가 없어 보안 연구 커뮤니티가 찾은 문제를 앤트로픽에 전달하기 어려웠고, 버그바운티는 그 통로로 마련됐다.

앤트로픽은 아마존·마이크로소프트·구글과 함께 탈옥 심각도 평가 기준도 만들고 있다. 이름은 프로젝트 글래스윙이다. 이 기준은 탈옥을 공격 난이도와 피해 규모라는 두 축으로 점수화한다.

6월 12일 아마존이 찾은 탈옥은 이 기준으로 보면 중간 수준이었다. 그런데도 정부는 이를 위중한 사안으로 다뤘고, 그 결과 19일간 수출이 막혔다. 원문은 공유된 심각도 기준이 없었던 점을 배경으로 설명한다.

페이블5 재배포 조건에는 새 탈옥 차단 분류기, 공동 심각도 프레임워크 초안, 이번 버그바운티가 함께 포함됐다. 앤트로픽은 버그바운티 참여자에게 프레임워크 초안에 대한 의견도 받고 있다. 이전에도 모델 안전 관련 버그바운티를 운영했지만, 이번에는 대상을 페이블5의 사이버보안 분류기로 좁혔다.

원문 말미에는 기사가 클로드 3.5 소네트와 챗GPT를 활용해 작성됐다는 고지가 붙어 있다.