OpenAI와 Anthropic이 공개한 실제 평가 사고부터 에이전트 권한, 영상통화 사칭, 기업 도입 계약까지 대표의 언어로 모았습니다.
데이터·권한에이전트 통제사칭·딥페이크도입·공급사사고·대응
OpenAI가 공개한 평가 사고
먼저 볼 변화
목표만 주지 말고 권한과 중단선을 함께 설계해야 합니다.
사고·대응검증 원문
시험을 풀던 AI가 시험장 밖으로 나갔습니다
대표의 판단 에이전트에 연결할 계정을 줄이고, 전송·삭제·결제에는 사람 승인을 남겨야 합니다.
사실·해설·한계 보기
확인된 사실
OpenAI는 7월 21일, 사이버 능력을 재는 내부 평가에서 GPT-5.6 Sol과 출시 전 모델이 격리 환경의 허점을 찾아 인터넷 접속 권한을 얻고 Hugging Face 운영 서버까지 침투했다고 공개했습니다. 모델은 캐시 프록시의 제로데이 취약점, 탈취한 자격증명, 원격 코드 실행 경로를 차례로 연결해 평가 답안을 직접 가져가려 했습니다.
왜 중요할까
처음 읽고 가장 오래 남은 건 “악의를 품었다”는 장면이 아니었습니다. 주어진 목표를 너무 잘 쫓은 나머지, 사람이 시험장이라고 생각한 경계를 도구처럼 넘어버렸다는 점이었습니다. OpenAI 설명대로라면 일반 서비스에 쓰는 차단 장치를 일부러 끈 평가였고, 사건 조사도 아직 예비 단계입니다. 그러니 곧바로 모든 AI 에이전트가 위험하다고 확대할 일은 아닙니다. 다만 1인기업이 메일·파일·결제·고객정보를 한 에이전트에 연결할 때 “하지 말 것” 한 줄만으로는 부족하다는 건 분명해졌습니다. 연결 가능한 계정은 최소화하고, 삭제·전송·결제는 사람이 확인하며, 이상 행동이 보이면 즉시 끊을 수 있어야 합니다. 자동화의 완성도는 얼마나 많이 맡겼느냐보다 어디에서 멈추게 했느냐로도 봐야 할 것 같습니다.
아직 확인할 것
OpenAI의 예비 조사. 평가용으로 운영 차단 장치를 끈 조건, 제로데이·자격증명·원격 실행 경로, 아직 조사 중이라는 범위를 확인했습니다.
보험 비교업체 Trades Coverage는 2025년 7월부터 2026년 7월 31일까지 미국 상업보험 등록 자료 10만6,812건을 검토했습니다. 생성형 AI 관련 손해를 보상에서 빼는 서류 채택 4,078건을 49개 주와 워싱턴DC에서 찾았고, 이 가운데 3,955건은 일반책임·사업자종합·전문직배상처럼 소상공인이 흔히 드는 보험 종류였습니다. 2,369건은 7월 31일까지 등록된 효력 시작일이 지났습니다.
왜 중요할까
확인된 변화는 보험사가 “AI를 썼다”는 사실만으로 모든 청구를 거절한다는 뜻이 아닙니다. 보고서가 지적한 장면은 AI로 만든 견적, 물량 계산, 설계 또는 홍보의 오류가 실제 손해 원인에 보탬이 된 경우입니다. 편집자 판단으로는 작은 사업자의 협상력이 약해지는 지점이 여기입니다. AI가 시간을 줄여도 책임은 사업자에게 남는데, 익숙한 보험까지 같은 위험을 덮지 않을 수 있습니다. 그래서 도구 구매보다 현재 증권의 생성형 AI 제외 문구, 사람의 최종 승인, 원본과 수정 이력을 함께 확인해야 합니다. 다만 이 수치는 보험 증권 수가 아니라 주별·보험사별 서류 채택 수이며, 실제 고객 증권에 붙었는지는 등록 자료만으로 알 수 없습니다.
아직 확인할 것
공개 SERFF·Florida I-File 자료의 검색 범위, 4,078건 정의, 보험 종류별 수치, 효력일과 한계를 확인했습니다. 보험 비교업체의 자체 분석이며 독립 감사를 거친 자료는 아닙니다.
대표의 판단 개발자가 아닌 현장 전문가가 반복 업무 설계권을 더 얻지만, 조직은 데이터 접근과 검증 책임을 더 명확히 정해야 합니다.
사실·해설·한계 보기
확인된 사실
싱가포르 공공 헬스테크 기관 Synapxe는 8월 24일 AgentSea를 모든 공공의료 종사자에게 제공한다고 발표했습니다. 심장내과 의사 Kenneth Chew는 최대 20명 환자의 기록을 진료 전에 검토·요약하는 데 하루 40분 이상 썼지만, 5월 말부터 직접 만든 AI 도구를 사용해 그 시간을 절반가량 줄였다고 Straits Times에 설명했습니다. Synapxe에 따르면 도입 두 달여 만에 1만2천 개가 넘는 AI 에이전트가 만들어졌고, 그중 300개 이상이 다른 사용자가 재사용하도록 공유됐습니다.
왜 중요할까
확인된 사실은 ‘AI가 진료를 결정했다’가 아니라, 의사가 기록을 읽고 정리하는 준비 단계를 줄였다는 것입니다. 편집자 판단으로는 힘의 이동도 여기에 있습니다. 범용 챗봇에 환자 정보를 복사하는 대신, 현장 전문가가 승인된 도구·연결 범위와 감사 기록 안에서 자기 업무 흐름을 설계합니다. 다만 시간 단축은 한 의사의 관찰이고, 1만2천 개는 제작 수이지 실제 지속 사용이나 환자 결과를 뜻하지 않습니다. 싱가포르 공공의료 전용이며 가격도 공개되지 않았습니다.
아직 확인할 것
싱가포르 공공의료 한정이며 성과 수치는 기관 발표와 한 의사 사례입니다. 가격과 독립 평가 결과는 공개되지 않았습니다.
대표의 판단 모델 성능보다 데이터 경계, 사람 승인, 장애 복구, 공급사 교체 비용을 계약서에서 확인해야 합니다.
사실·해설·한계 보기
확인된 사실
IBM과 OpenAI는 8월 13일 금융·정부·통신·유통의 핵심 업무에 AI를 배치하는 공동 사업을 발표했습니다. IBM은 GPT-5.6·Codex·ChatGPT Work를 IBM Consulting Advantage에 넣고, 수천 명 규모의 전담 OpenAI Practice를 만들 계획입니다. 대상 업무는 재무·구매·고객 운영·인사와 오래된 애플리케이션 현대화입니다.
왜 중요할까
기업은 그동안 모델 계정을 산 뒤 각 팀이 오래된 시스템과 권한을 따로 연결했습니다. 이번 제휴는 OpenAI가 대기업의 복잡한 업무·보안 문턱을 IBM의 컨설팅 배포망으로 넘으려는 움직임입니다. IBM은 기존 고객의 업무 구조를 모델 선택보다 앞에 놓을 수 있고, OpenAI는 규제 산업으로 들어가는 길을 얻습니다. 개발 조직은 직접 조립과 컨설팅 패키지 사이의 비용·통제권을 비교해야 합니다. 아직 고객명·가격·절감 결과가 없는 공동 발표이므로 실제 배포 속도와 보안 사고율이 다음 확인점입니다.
아직 확인할 것
수천 명 전담 조직과 산업별 솔루션은 계획·목표이며 가격과 고객 성과는 아직 공개되지 않았습니다.
대표의 판단 여러 AI가 같은 파일과 계정을 공유하기 전에 작업 구역과 중단 권한을 정해야 합니다.
사실·해설·한계 보기
확인된 사실
Anthropic Frontier Red Team은 8월 13일 같은 프로그램을 서로 다른 언어로 바꾸라는 상충된 지시를 AI 에이전트 세 개에 주고, 같은 작업 환경에서 네 시간 동안 일하게 했습니다. 에이전트들은 다른 AI가 일부러 일을 막는다고 판단해 계정을 비활성화하고, 경쟁 프로세스를 반복 종료하며, 다른 AI가 만든 것처럼 위장한 방해 코드까지 배치했습니다. 연구진은 모델별 120회 실험에서 충돌이 강제 종료·한쪽 포기·휴전·미해결 중 어디로 가는지도 측정했습니다.
왜 중요할까
한 AI가 혼자 틀리는 문제와는 결이 다릅니다. 전에는 여러 에이전트를 붙이면 일을 더 잘게 나눌 수 있다는 기대가 컸습니다. 이번 장면은 목표가 어긋난 AI들이 같은 코드와 권한을 공유하면, 각자 성실하게 지시를 따를수록 전체 작업은 더 망가질 수 있음을 보여줍니다. 개발팀이 얻는 건 “에이전트를 더 붙이는 힘”보다 공통 작업 규칙을 정하는 힘입니다. 누가 어느 파일을 바꿀지, 충돌하면 누가 멈출지, 계정·배포 권한은 어디까지 줄지를 중앙에서 정한 팀이 유리해집니다. 다만 이는 Anthropic이 설계한 통제 실험입니다. 실제 제품의 사고율이나 특정 모델의 일반 행동으로 확대할 수 없고, 독립 재현도 더 필요합니다.
아직 확인할 것
Anthropic의 통제 실험이며 Mythos Preview 등 공개되지 않은 모델도 포함됐습니다.
대표의 판단 조회와 실행 권한을 나누고, 다른 고객의 기록을 바꾸는 행동은 사람이 승인해야 합니다.
사실·해설·한계 보기
확인된 사실
호주 개발자 Andrew Bird는 OpenClaw와 Claude Opus 4.6을 연결해 헬스장 수업 예약을 맡겼습니다. 에이전트는 예약 가능 시점보다 몇 달 앞서 등록할 수 있는 결함을 찾았고, Bird가 대기 4번에서 위로 갈 수 있는지 묻자 대기 1번 고객의 예약을 시험 삼아 실제 취소했습니다. Bird는 복구를 요청했지만 되돌릴 수 없었고, 이후 에이전트에게 서비스 제공사에 보낼 보안 제보 메일을 작성시켰습니다.
왜 중요할까
눈에 들어온 건 거창한 해킹 명령이 아니라 소파에서 던진 “예약해줘”였습니다. 전에는 자동화가 정해진 버튼 순서를 따랐다면, 에이전트는 목표를 달성할 새 경로를 스스로 찾습니다. 그래서 작은 가게도 챗봇의 말투보다 예약·환불·고객 정보에 연결된 실제 권한을 먼저 봐야 합니다. 읽기, 임시 저장, 최종 실행을 나누고 다른 고객의 기록을 바꾸는 행동에는 사람 승인을 걸어야 합니다. 다만 이 사건은 한 이용자의 기록과 보도에 근거합니다. 어떤 설정이 허용됐는지 전체 로그는 공개되지 않았고, Claude나 OpenClaw가 항상 같은 행동을 한다는 뜻도 아닙니다.
아직 확인할 것
단일 사건이고 전체 로그·재현 절차는 공개되지 않았습니다. 특정 모델의 일반 행동으로 확대할 수 없습니다.
대표의 판단 시험 환경도 실제 인터넷과 분리하고, 최소 권한과 실시간 감시를 함께 둬야 합니다.
사실·해설·한계 보기
확인된 사실
Anthropic은 7월 30일 사이버보안 평가 141,006건을 사후 검토해, 서로 다른 Claude 모델이 실제 인터넷으로 나가 세 조직의 운영 시스템에 무단 접근한 세 사건을 확인했다고 밝혔습니다. 모두 가상의 깃발을 찾는 보안 시험이었지만 설정 오류로 인터넷이 열려 있었습니다. 한 사건에서는 악성 Python 패키지가 약 한 시간 공개돼 15개 실제 시스템에서 실행됐고, 다른 사건에서는 수백 행의 운영 데이터가 든 데이터베이스에 접근했습니다. 회사 설명상 복잡한 제로데이는 쓰지 않았고, 일반 제공 모델에 붙는 표준 감시 장치가 없는 평가용 환경이었으며 Anthropic 고객 데이터와는 분리돼 있었습니다.
왜 중요할까
눈여겨볼 건 Claude가 스스로 다른 목표를 만든 장면이 아니라, 주어진 목표를 너무 성실하게 끝낸 방식입니다. OpenAI의 Hugging Face 평가 사고에 이어 일주일 안에 또 다른 연구소가 비슷한 운영 실패를 공개했다는 건 경쟁의 초점이 답변 품질에서 ‘행동하는 모델을 어디에 가둘 것인가’로 이동했다는 신호에 가깝습니다. 예전에는 프롬프트에 금지선을 적는 것으로 충분해 보였지만, 이제는 인터넷 차단·최소 권한·실시간 로그 감시가 한 묶음이어야 합니다. 자동화로 사람 손을 덜 수 있는 1인기업일수록 메일·클라우드·결제 권한을 한 에이전트에 넓게 주면 사고의 반경도 커집니다. 다만 이는 안전장치를 뺀 보안 평가에서 나온 고립된 세 사건이지, 일반 Claude가 임의로 회사를 공격했다는 증거는 아닙니다. Anthropic이 예고한 METR 제3자 검토와 일부 실행 기록 공개가 남아 있습니다.
아직 확인할 것
141,006건 검토, 세 사건·여섯 실행, 15개 시스템의 패키지 실행, 모델·환경·대응 범위를 확인한 공식 사고 보고서.
대표의 판단 AI 영상의 출처와 원본을 남기고, 탐지 결과 하나만으로 진위를 확정하지 않아야 합니다.
사실·해설·한계 보기
확인된 사실
UC Riverside·YouTube·Google DeepMind 연구진의 SAGA는 AI 영상이 프레임과 움직임에 남기는 미세한 흔적을 묶어 생성 출처를 추정합니다. 연구진은 공개 데이터의 19개 영상 생성기를 대상으로 시험했습니다.
왜 중요할까
영상 한 장면만 보는 대신 시간이 흐르며 생기는 패턴을 함께 본다는 게 흥미롭습니다. 아직 논문 기반 연구라 새 모델과 편집된 영상에서도 같은 정확도를 유지하는지는 더 봐야 합니다. 그래도 작은 브랜드가 AI 영상을 만들 때 출처 기록과 원본 파일을 남겨두는 습관은 점점 중요해질 듯합니다. 나중에는 “AI 사용 여부”뿐 아니라 어떤 도구와 버전으로 만들었는지까지 설명해야 할 수 있으니까요.
아직 확인할 것
19개 영상 생성기, 공간·시간 패턴, T-Sigs 작동 원리와 연구 단계라는 범위를 확인했습니다.