유발 하라리 AI 위협과 인간 통제권 기준

여성이 여러 모니터의 그래프를 보며 보호 덮개가 있는 빨간 비상 버튼으로 손을 뻗는 모습

 

AI의 추천에 직접 승인 버튼을 눌러도, 근거를 검토하거나 실행을 거부할 수 없다면 실질적인 통제는 약할 수 있습니다. 업무나 개인적인 선택에서 AI의 조언을 받아들이고 있다면, 먼저 확인할 것은 결정을 이해하고 바꾸거나 중단할 수 있는지입니다. 유발 하라리의 핵심 경고도 편리함 때문에 판단과 실행 권한을 넘기면 인간의 통제력이 약해질 수 있다는 점입니다.

 

추천을 확인하는 일과 실행을 맡기는 일의 차이

인조이스의 원문 기사는 AI를 얼마나 자주 쓰는지보다 어떤 권한을 맡기는지에 초점을 맞춥니다. 정보를 요약하게 했다면 빠진 조건과 근거 자료를 확인해야 합니다. 상품이나 거래를 추천받았다면 추천 이유와 손실 가능성을 검토하고, 받아들이지 않을 선택이 남아 있는지 점검할 필요가 있습니다.

거래 실행까지 맡기면 확인할 범위도 넓어집니다. 실행 권한을 제한하거나 중단할 수 있어야 하며, 문제가 생겼을 때 개입할 담당자와 수정 절차도 필요합니다. 최종 승인자라는 사실만으로 이런 조건이 갖춰졌다고 판단할 수는 없습니다.

금융에 관한 설명도 이 구분을 따릅니다. AI끼리 거래하며 인간이 이해하기 어려운 금융 구조를 만든다는 이야기는 하라리의 미래 시나리오입니다. 금융 전체가 이미 AI에 넘어갔다는 뜻은 아니며, 금융안정위원회가 2024년 11월 14일 발표에서 짚은 서비스 제공자 집중과 시장 참여자의 행동이 서로 연동될 위험 등과 구분해야 합니다.

 

AI의 편리함과 위험, 인간 통제권을 5단계로 설명한 한국어 인포그래픽

 

AI 위협을 판단할 비교표와 근거

인조이스의 원문 기사에는 정보 요약부터 거래 실행까지 권한별 점검 대상을 나눈 표와, 형식적인 승인과 실질적인 통제를 비교한 표가 있습니다. 사용 방식에 맞춰 검토 시간, 거부 권한, 중단 절차 중 무엇을 먼저 확인할지 정하는 데 활용할 수 있습니다. 하라리의 공식 질의응답과 인터뷰, 연구 자료도 함께 제시해 개인의 제안과 연구 결과를 구별하며 읽을 수 있도록 합니다.

 

인조이스에서 전체 내용 확인하기

 

친근한 말투가 추천의 신뢰성을 보장하지는 않습니다

대화형 AI가 말을 잘 받아주면 자신을 이해한다는 느낌이 생길 수 있습니다. 여기에 상품 추천이나 정치적 주장이 섞이면 광고보다 가까운 사람의 조언처럼 받아들일 가능성이 있다는 것이 하라리의 우려입니다. 모든 AI 대화가 조작이라는 주장은 아닙니다.

다정하게 답한다는 사실은 추천의 정확성이나 이해관계의 일치를 입증하지 않습니다. 구매를 권하는 대화에서는 친근한 표현과 별개로 운영 주체와 추천 목적을 확인할 필요가 있습니다. 일상적인 선택에서도 대화의 인상과 판단의 근거를 나눠 볼 기준이 됩니다.

감정 표현과 실제 감정 경험도 구분합니다. 2023년 부틀린 등의 연구진은 당시 평가한 시스템에 의식이 있다고 보지 않았지만, 미래 시스템의 가능성까지 배제하지는 않았습니다. 다정한 문장을 의식의 증거로 삼거나, 이 연구로 모든 미래 AI의 의식 부재를 단정하는 해석은 모두 피해야 합니다.

 

상품 추천을 받았다면 두 단계로 점검

앞의 기준을 AI와 대화하다가 상품을 추천받는 상황에 적용하면, 추천을 평가하는 단계와 실행 권한을 정하는 단계로 나눌 수 있습니다. 다음은 인조이스의 원문 기사에 제시된 사실을 이 상황에 맞춰 다시 묶은 점검 방식입니다.

• 추천을 받아들이기 전: 추천 근거와 빠진 조건, 운영 주체의 이해관계를 확인합니다. 공감하는 말투는 별도의 검증 근거로 삼지 않습니다.
• 실행을 맡기기 전: 허용할 범위와 취소·중단 가능성을 확인합니다. 문제가 생겼을 때 담당자에게 재검토를 요청하고 잘못된 정보를 고칠 경로가 있는지도 점검합니다.

추천이 납득된다는 판단과 실행 권한을 어디까지 줄지는 서로 다른 결정입니다. 두 단계를 나누면 한 번의 동의에 어떤 권한까지 포함되는지 확인하는 데 도움이 됩니다.

 

데이터 화면 옆 빨간 정지 버튼을 누르는 여성과 이를 지켜보는 남성

 

AI를 쓰는 사람과 판단의 영향을 받는 사람

이 논의는 특정 지역이나 신청 자격을 정한 제도가 아닙니다. 개인적으로 조언을 받는 이용자, 업무에서 추천을 승인하는 담당자, AI가 관여한 결정으로 영향을 받는 사람에게 각각 점검 기준을 제시합니다. 하라리의 규제 제안도 현재 시행 중인 규칙과 구분해서 읽어야 합니다.

불리한 판단을 받은 상황이라면 설명을 듣는 것에 더해 재검토와 수정·복구 경로를 확인할 필요가 있습니다. 이는 모든 경우에 법적으로 보장된 권리를 안내하는 절차가 아니라, 인간 감독을 이용자의 관점으로 확장한 점검 순서입니다.

오늘 받은 AI 추천 중 하나를 골라 근거 자료를 확인하는 것부터 시작하세요. 실행까지 맡기고 있다면 취소나 중단이 가능한지도 함께 점검하세요. 권한별 비교와 재검토 순서는 인조이스의 원문 기사에서 확인할 수 있습니다.

 

유발 하라리 AI 위협과 인간 통제권 정리 - Injoys

 

이 글은 인조이스(injoys.com)가 운영하는 채널의 도움을 받아 작성했습니다. 원문과 출처는 위 링크에서 확인할 수 있습니다.