5분에서 5초, AI가 바꾼 전쟁 패러다임 “인간이 주도권 갖고 존엄성 지켜야” 한 달여간 이어지고 있는 중동 지역 전쟁에서 인공지능(AI)이 디지털 참모 역할을 하고 있다는 분석이다. 감시·정찰 단계에 머물렀던 AI가 데이터 분석 단계를 거쳐 지휘관의 의사결정을 지원하고 작전을 설계하는 단계에 이르렀다는 평가다. 아직 최종 승인 권한은 사람에게 있지만 이마저도 AI에게 넘어가게 될 것이라는 관측이 나오면서 생명 윤리 문제가 화두로 떠올랐다. 1일 오후 국회의원회관 제7간담회의실에서 '이란전으로 본 AI 전쟁 : 국방 혁신과 생명 윤리'를 주제로 토론회가 열렸다. 이번 토론회는 부승찬 의원, 유용원 의원이 주최했으며 국방부, 국방과학연구소, AI안전연구소 등의 관계자들이 참석했다. 1일 오후 국회의원회관 제7간담회의실에서 개최된 '이란전으로 본 AI 전쟁 : 국방 혁신과 생명 윤리' 토론회 참석자들이 기념촬영을 하고 있다. 사진=신혜영 이코노믹리뷰 기자 부승찬 의원은 "AI가 전략을 수립하고 공격을 지시하는 과정에서 인간이 하는 것은 승인 뿐"이라며 "과거에는 일일이 보고받고 판단하느라 타격까지 수십 분에서 수 시간 걸리던 게 굉장히 단축됐다"고 했다. 그러면서 "이번 중동 전쟁은 완전한 패러다임의 전환을 보여준다"고 했다. 부 의원은 AI 도입으로 전쟁의 효율성이 극대화되는 가운데 생명 윤리가 경시되는 점을 지적했다. 그는 "AI가 루프 자체를 판단하고 결정까지 하고 인간은 결국 승인하는 역할을 하는 단계에서 AI 거버넌스는 어떻게 정립해 갈 것인지 고민해야 한다"며 "물리적이고 구조적인 것만 다루기보다는 생명에 포커스를 두고 윤리적 문제를 함께 다뤄야 한다"고 했다. 부승찬 의원이 개회사를 하고 있다. 사진=신혜영 이코노믹리뷰 기자 김명주 AI안전연구소장은 "주제가 국방 혁신과 생명 윤리인데 이 두 개가 어울릴 수 있을지 참 많은 고민을 했다"며 윤리 전문가로서 느끼는 현실적인 고민을 털어놨다. 그는 "윤리학자들은 전쟁이나 국방 쪽에서 윤리학을 다루기를 주저한다"며 "내가 속해 있는 나라와 유착되고 상대편 국가의 존폐 위기 속에서 평상시에 논의했던 모든 원리들이 무슨 의미가 있느냐라는 생각을 하기 때문"이라고 했다. 전쟁에서는 윤리학에서 다루는 개념이나 신념과는 상반되는 상황이 벌어지기 때문이다. 김 소장은 "모든 기술은 사람을 위해 존재하고 쓰이는 건데 AI 기술 때문에 더 많은 사람이 죽는 일이 벌어지는 건 말도 안 된다고 하는 것이 윤리학자들의 기본적인 원칙"이라고 했다. AI와 무기의 결합, 초반 반발 거셌다AI 기술이 군사적으로 활용된 초기에는 자료 검색과 분석에 국한돼 있었다. 그러다가 살상무기에 접목돼 파괴력을 갖기 시작하면서 윤리 문제와 결부돼 거센 반대에 부딪혔다. 김 소장은 "살상무기에 AI를 접목시켜 사람 손을 거치지 않고 AI가 스스로 판단해서 사람을 죽이는 무기를 치명적 자율무기, 킬러 로봇이라고 하는데 2013년부터 반대 운동이 있었다"며 "2014년부터는 UN 총회에 몇 번 안건을 올렸고 2019년에도 안건이 올라가서 킬러 로봇 생산을 국제적으로 금지해야 한다는 주장이 계속됐다"고 했다. 당시 킬러 로봇을 반대하던 사람들은 '선제적 금지(Preemptive ban)'을 주장했다. 선제적 금지란 어떤 기술이나 무기가 완전히 개발되어 실전에 배치되기 전에 미리 국제법이나 조약을 제정해 그 개발과 생산을 원천적으로 막는 조치다. 각종 단체에서 거센 반발이 이어졌지만 국제적인 금지 조약은 결국 제정되지 않았다. 국방부와 기업 사이에서 AI 윤리 문제가 화두로 떠오른 사례도 있다. 2017년 미국 국방부가 구글과 손잡고 시작한 '메이븐 프로젝트(Project Maven)'다. AI 기술을 활용해 드론이 촬영한 영상 데이터를 자동으로 분석하는 시스템을 만드는 프로젝트였다. 직원들은 해당 기술이 차량이나 건물 등을 효율적으로 분간하는 데 사용될 것이라고 생각했으나 궁극적으로는 표적 식별과 살상 등에 사용될 수 있는 것으로 밝혀져 반발하고 나섰다. 김 소장은 "2017년은 저도 기억이 생생한데 구글이 프로젝트를 하겠다고 하니까 구글 엔지니어 3500명이 서명을 했다"며 "계약을 철회하지 않으면 사표를 내겠다고 하면서 기업 윤리에 어긋난다고 거세게 반발했다"고 했다. 결국 구글은 직원들의 반발을 감안해 계약 기간이 끝나면 연장하지 않는 조건으로 3년 계약을 체결했다. 김 소장은 "이제 아마존이나 앤트로픽, 팔란티어가 들어와서 10년짜리 프로젝트를 하고 있다"며 "지금 와서 생각해 보면 구글 사태는 말이 안 되는 이야기고 참 낭만적이었다고 생각한다"고 했다. 국내에도 유사한 사례가 있다. 2018년 카이스트가 국방 AI 융합연구원을 설립했는데 이곳에서 AI 기술을 군사 목적으로 활용할 가능성이 있다는 이유로 비난을 샀다. 그는 "카이스트가 AI 융합연구원을 열었다는 뉴스가 나오고 전 세계 29개 나라에서 50명 학자들이 한국과 학술대회를 이제 안 하겠다, 모든 학술대회를 다 끊어버리겠다고 해서 카이스트 총장님이 사과까지 했던 걸로 기억한다"며 "그런데 그 뒤에 다른 나라들도 다 만들었다"고 했다. 김명주 AI안전연구소장이 토론을 진행하고 있다. 사진=신혜영 이코노믹리뷰 기자 "인간이 주도권 놓쳐선 안 돼"김 소장은 "이런 사건들은 컨텍스트가 계속 바뀌고 있는 걸 보여준다"며 "이제 AI한테 참모 역할을 더 많이 주게 될 것"이라고 했다. 이어 "지금은 '휴먼 인 더 루프'에서 '휴먼 온 더 루프'로 바뀌고 있는데 이제 '휴먼 아웃 오브 더 루프'가 될 것"이라며 "그래도 마지막까지 지휘관 역할은 사람이 하지 않을까 생각하는데 이것도 나중에는 낭만적인 이야기가 될 수 있다"고 했다. 과거 극심한 반대에 부딪혔던 기술이 시간이 흘러 자연스럽게 수용되는 일이 반복되는 점을 미루어 볼 때 최종 승인권도 AI에 넘어갈 수 있다는 분석이다. 김 소장은 "지휘관과 커뮤니케이션하는 데 걸리는 시간이 5분인데 이걸 AI한테 맡기면 5초 만에 끝난다"며 "상대편이 AI를 사용하면 우리는 5분 기다리다가 망할 수 있다"고 했다. 그는 "굉장히 어려운 문제긴 하지만 그래도 인간이 주도권을 놓지 않아야 된다는 생각을 한다"며 "이 문제는 한 나라가 해결할 수 있는 문제는 아니어서 자꾸 국제적으로 논의하고 이른바 레드라인이라는 걸 확실히 해야 한다"고 했다. 이어 "AI 기술을 활용하더라도 인간의 존엄성을 사람이 아닌 존재한테 넘겨주는 것까지는 양보하면 안 된다"고 했다. 김 소장은 국가 간의 상호 신뢰와 협의가 중요하다고 강조하며 최소한의 마지노선을 마련할 것을 촉구했다.