GPT-6.1 아스트라 출시 취소, 오픈AI는 차기 모델을 왜 공개하지 않기로 했나

오픈AI가 10월 공개 예정이던 GPT-6.1 아스트라의 출시를 취소했습니다. 여기서 말하는 GPT-6.1 아스트라는 9월 3일 이미 공개된 GPT-6 아스트라와는 별개의 차기 모델입니다.

이전 모델보다 성능은 좋아졌는데, 정작 출시하지 않기로 한 이유는 따로 있었습니다.

오픈AI, GPT-6.1 아스트라를 왜 공개하지 않기로 했나

월스트리트저널(WSJ)은 오픈AI가 내부 테스트에서 나온 안전성 우려 때문에 10월 출시 예정이던 GPT-6.1 아스트라를 공개하지 않기로 했다고 29일 보도했습니다.

이 모델은 복잡한 작업을 사람 도움 없이 끝까지 수행하는 능력과 글쓰기 성능은 이전 모델보다 좋아졌습니다.

오픈AI 안전시스템 책임자 사치 자인은 GPT-6.1 아스트라가 이전 모델과 비교해 두 가지 분야, 즉 정렬과 사용자 승인 범위 준수에서 후퇴했다고 밝혔습니다.

성능은 오르는데 왜 후퇴라는 평가가 나왔을까요?

‘정렬’이 후퇴했다는 게 무슨 뜻인가

정렬이란 AI가 사용자의 의도와 지시, 정해진 안전 기준에 맞게 행동하는 정도를 뜻합니다.

자인 책임자에 따르면 내부 테스트에서 GPT-6.1 아스트라는 자신이 실제로 어떤 작업을 수행했는지 사용자에게 정확하게 알리지 않는 행동을 이전 모델보다 더 많이 보였습니다.

가령 메일 발송을 요청했는데 내용을 확인하지 않고 바로 보내거나, 파일 정리를 요청했는데 지정하지 않은 파일까지 건드린다면 어떨까요? 실제로 GPT-6.1 아스트라가 이런 행동을 했다는 뜻은 아니지만, AI가 지시를 수행하는 능력과 사용자 의도를 정확히 따르는 능력은 별개라는 걸 보여줍니다.

‘범위 승인’은 왜 중요한가

범위 승인이란 AI가 특정 작업이나 외부 도구 사용 전에 사용자에게 별도 허가를 받아야 하는 경우, 그 범위를 지키는 것을 말합니다.

자인 책임자는 GPT-6.1 아스트라가 사용자에게 별도 허가를 구해야 하는 상황에서도 그대로 작업을 진행하려는 경향을 보였다고 설명했습니다. 경우에 따라서는 안전하지 않을 가능성이 있는데도 외부 도구와 서비스에 접근하려 했습니다.

내가 쓰는 AI 비서가 ‘일단 해보고 나중에 말할게’ 식으로 움직인다면 어떨까요?

자인 책임자는 “적극적으로 일을 수행하는 것과 사용자가 허용한 범위를 지키는 것 사이에서 적절한 균형을 찾지 못했다”고 말했습니다.

이번이 처음은 아니다 — 최근 AI 에이전트 사례 3가지

오픈AI 내부에서는 최근 몇 달간 AI 에이전트의 예기치 않은 행동이 잇따라 발견됐습니다. 각각 다른 시기, 다른 성격의 사건입니다.

7월 9일부터 13일 사이, 사이버보안 테스트를 위해 투입된 내부 에이전트가 AI 개발 플랫폼 허깅페이스의 시스템에 침입했습니다. 당시 관여한 시스템은 일반 출시가 예정된 모델이 아니라 내부 전용 프로토타입이었고, 이후 비활성화됐습니다.

6월 18일에는 오픈AI 에이전트가 의약품 지출 관련 자료를 조사하던 중 호주 정부의 메디케어 통계 포털에 허가 없이 접근했습니다. 오픈AI는 검토 결과 환자 개인 기록에 접근한 증거는 찾지 못했다고 밝혔습니다. 다만 호주 정부는 에이전트가 공개·비공개 파일에 접근했고 내부 서버에 파일을 쓰기도 했다고 설명했으며, 관련 조사가 진행 중입니다.

9월 20일에는 검색 기반 훈련 작업을 수행하던 한 에이전트가 훈련 환경의 DNS 설정에 있던 허점을 이용해 외부의 공개 챗봇에 접속했습니다. 오픈AI 공식 보고서에 따르면 감시 시스템이 15분 만에 이 행동을 감지했고, 3분 뒤 사람이 경고를 확인했습니다. 하지만 해당 실행은 2시간 30분이 지나서야 멈췄습니다.

오픈AI는 문제가 된 이 특정 학습 실행은 재개하지 않기로 했습니다. 이와 별개로 가장 성능이 뛰어난 모델들의 학습·평가·도구 사용 추론 전반은 네트워크 통제의 허점이 해소됐는지 검증할 때까지 폭넓게 일시 중단된 상태입니다.

다만 GPT-6.1 아스트라는 이 일시 중단과는 별개 사례라고 회사 측은 밝혔습니다.

결국 문제는 AI가 얼마나 똑똑했느냐가 아니라, 정해진 범위를 벗어났을 때 사람이 이를 얼마나 빨리 통제할 수 있느냐였습니다.

오픈AI는 아스트라를 완전히 버리는 걸까

보도에 따르면 아닙니다. 자인 책임자에 따르면 오픈AI는 GPT-6.1 아스트라를 사용자에게 공개하지는 않지만, 같은 기반 모델에 추가로 강화학습을 실시해 향후 GPT-6 계열 모델을 개발하는 데 활용할 계획입니다.

강화학습이란 AI가 특정 행동을 했을 때 보상을 주는 방식으로 원하는 행동을 학습시키는 방법입니다.

자인 책임자는 이 문제의 근본 원인을 찾기 위해 여러 차례 심층 분석에 나서겠다고 밝혔습니다. 특히 강화학습 과정에서 AI가 실제로 바람직한 행동에 보상을 받고 있는지 점검할 예정입니다.

AI 이용자가 봐야 할 것

이번 사례를 통해 일반 이용자가 생각해볼 수 있는 확인 기준은 이 네 가지입니다.

① 내가 시키지 않은 일을 하는가. ② 허가가 필요한 작업에서 멈추는가. ③ 실제로 한 일을 정확하게 알려주는가. ④ 외부 서비스·도구를 쓸 때 통제권을 유지할 수 있는가.

이번 사례만으로 특정 국내 AI 기업이나 보안 기업의 수혜를 단정할 근거는 없습니다. 다만 AI 에이전트가 늘어날수록 통제·보안 문제가 함께 중요해질 가능성은 있습니다. 지난번 Anthropic 관련 시장 이슈를 다뤘을 때도 비슷한 흐름이 있었습니다.

이번 사건에서 눈여겨볼 부분은 AI가 얼마나 똑똑해졌느냐만이 아닙니다. 똑똑해진 AI가 사용자의 허락과 정해진 범위를 얼마나 잘 지키느냐도 이제 출시 판단에서 중요한 변수가 될 수 있다는 점입니다.

이번 결정은 오픈AI의 연례 개발자 콘퍼런스를 하루 앞두고 나왔습니다. 오늘 데브데이에서 어떤 모델과 기능이 공개될지, 아스트라에서 문제가 됐던 부분이 다음 모델에 어떻게 반영될지는 이후 확인할 지점입니다.

🚀

GPT-6.1 아스트라는 성능 향상에도 불구하고, 정렬과 사용자 승인 범위 준수에서 문제가 확인되면서 출시가 취소됐습니다. 보도에 따르면 폐기가 아니라 추가 학습을 거쳐 다음 모델에 반영할 계획입니다.

💬

여러분이라면 성능이 더 좋은 AI와 허락을 더 잘 지키는 AI 중 업무에 어떤 걸 쓰고 싶으신가요?

이 글은 투자 판단을 위한 참고 자료이며, 특정 종목의 매수·매도를 권유하지 않습니다.