AI 사람에게 배우다

AI, 사람에게 배우다



우정훈 지음

비앤컴즈 / 2019년 6월 / 231쪽 / 15,000원





AI, 여정을 시작하다



월요일 오후, 존은 기획팀 팀원들과 한 주간 진행할 사항을 점검하는 회의를 마치고 자리에서 한숨 돌리고 있었다. 그때 최고 경영진 회의에서 호출이 왔고, 존은 회의실로 갔다. 회의실에는 회사 경영진과 함께 최고 기술 책임자 스티브가 있었다. 스티브는 긴장한 존을 바라보며 깜짝 놀랄 만한 제안을 했다. “존, 우리는 AI 혁신팀을 맡아줄 사람을 찾고 있네. 혹시 자네가 해보지 않겠나? 자네가 기술을 몰라도 상관없네. 가장 중요한 건 공감과 설득이거든! 우리는 그런 면에서 자네의 능력을 높이 샀네.” 존은 스티브의 제안을 받아들였다. “스티브, 알겠어요. 한번 해보겠습니다.”

“잘 생각했어. 우선 회사 내외부에 AI 부서 시작을 공지하겠네. 자네는 연관된 부서와 미팅을 잡아서 부서별로 담당 업무를 파악하고, AI로 대체할 수 있거나 개선할 수 있는 업무 목록을 잡아보게. 그런 다음에 사업성이 있는 것들을 추리고, 프로젝트를 몇 개 선정해서 추진하면 될 거야.” “스티브, 반발이 있지 않을까요? 요즘 AI 때문에 직업이 없어질지도 모른다고 말이 많아서요.” “자네 말도 일리가 있네. 그런데 어떤 직업이든 기계가 더 잘할 수 있는 부분이 있고, 사람이 더 잘할 수 있는 부분이 있을 걸세. 나는 우리 직원들이 하는 반복적이고 지겨운 일들은 가능한 한 AI를 통해 최대한 자동화하기를 원한다네. 그럼 그들이 보다 창의적이고 생산적인 일에 집중할 수 있을 것이 아닌가?”

존은 자리로 돌아와 자료를 모으기 시작했다. AI와 사람이 상호 보완적 관계가 될 수 있다는 것을 뒷받침하는 자료가 넘치도록 많았다. 존이 팀을 맡기로 하면서 두 명이 더 합류했다. 이들은 AI 혁신팀이 만들어진다는 소리를 듣고 자원해서 온 사람들이었다. 한 명은 대학에서 컴퓨터 공학을, 다른 한 명은 수학을 전공한 뒤 금융 회사에서 몇 년간 커리어를 쌓은 이들이었다.



사업성이 있나요?



스티브의 도움으로 존은 현업 부서 책임자들과 미팅을 시작했다. 예상대로였다. 현업 부서 리더들은 조심스러운 자세를 취했다. 더구나 존은 그들의 날카로운 질문에 답을 하기도 어려웠다. 존 역시 AI에 관한 경험이 없었기 때문이었다. 존은 전문가들의 도움이 절실히 필요했다. 그래서 존은 여러 AI 컨설팅 회사에 연락해 제안서를 받았으나, 적당한 업체가 없었다. 존이 가장 중요하게 생각한 것은 경험이었다. 존은 머리를 싸매고 고민을 하다가 문득 인수 합병 문제로 함께 일한 적이 있는 컨설팅 회사를 떠올렸다. 언젠가 그들과 점심을 먹다가 그 회사의 AI 개발팀이 빠르게 성장하고 있다는 말을 들은 기억이 떠올랐다. 존은 즉시 인수 합병을 함께했던 매트에게 전화를 걸었다.

“매트, 잘 지냈어요? 제가 우리 회사의 AI 혁신팀을 맡았는데, 도움이 필요해요. 혹시 그때 이야기하던 AI 개발팀을 한번 만나볼 수 있을까요?” “존, 우리 AI 개발팀 팀장은 마이크라는 데이터 사이언티스트예요. 두 사람을 연결할게요.” 그렇게 하여 존은 마이크와 만나 이야기를 나누었고, 마이크 팀이 기업용 솔루션으로 AI를 개발한 많은 경험이 있다는 것을 확인하고는 마이크의 도움을 받기로 했다.



태도가 전부다



마이크와 존의 팀은 전략을 짜기 시작하며 회의 자료를 완전히 재구성하기 시작했다. 현업 부서의 누구를 먼저 만날 것인지에 대한 계획도 새로 세웠다. 존과 마이크는 미팅을 진행하면서 조금씩 일선 업무 프로세스의 윤곽을 잡아 나갔다. 업무의 인풋과 아웃풋이 무엇인지, 프로세스 안에서 어떤 일들이 수행되는지 알아본 다음, 마이크는 점차 다음과 같은 핵심적인 질문을 하기 시작했다. “혹시 시기에 따라 업무가 급격하게 증가하지는 않나요? 매번 필요할 때마다 사람을 뽑을 수는 없을 텐데요. 어떻게 해결하세요?” “직원의 경험에 따라 업무 결과가 달라지기도 하나요?”

한편 인사부 팀원들의 답변은 마이크의 예상과 크게 다르지 않았다. 사내 직원들의 문의는 세금을 신고하거나 급여를 받는 시기마다 폭증하는 추세를 보였다. 이와 함께 인사 정책이나 조직 구성에 변화가 있을 때도 업무가 증가했다. 그러나 업무가 급증하는 패턴은 매년 특정 기간에만 집중되었기 때문에 그 일을 전담할 사람을 충원하기에는 부담스러웠다. 상황이 그러다 보니 인사부 팀원의 업무는 과중했고, 그럴 때마다 업무가 지연되거나 자잘한 실수가 일어나곤 했다. 인사부서는 단순 반복 업무 때문에 이직률이 높았는데, 이직에 따른 결원을 충원해도 숙련되지 못한 신입 직원은 실수가 많았고, 업무 처리 시간도 더 오래 걸렸다. 한마디로 악순환에 빠져 있었다.

마이크는 현장 업무 어느 부분에서 AI가 도움이 될 수 있는지 고민했고, 현업에 대한 이해가 깊어질수록 AI가 어디서 어떤 역할을 할 것인지 분명하게 드러나기 시작했다. 약 2~3주간 존과 마이크는 매일 다양한 현장 실무자들과 미팅을 하고, 논의 결과를 정리했다. 마이크가 말했다. “존, 이제 어느 정도 준비가 된 것 같아요. 현업 부문장들과 AI 도입에 관한 미팅을 잡아볼까요?” 존은 몇 주 전 미팅에서 받았던 난처한 질문들과 그들의 부정적인 태도가 떠올라 걱정이 되었지만, 부딪혀보기로 했다.

존과 마이크는 각 사업 부문장들과 다시 미팅을 했고, 마이크는 사업 부문장들의 난해한 질문에 현명하게 대처했다. 마이크는 항상 부문장들이 맡은 비즈니스 프로세스의 처음과 끝을 짚어가며 이야기를 시작했고, 그 과정에서 현장 실무자들이 밝힌 애로사항을 덧붙이며 설득력을 높였다. 마이크는 끝으로 어떻게 AI가 현장의 문제들을 해결할 수 있을지, 그 비용과 효과는 어떻게 될지 예측치를 함께 설명했다. 실무자들이 직접 밝힌 문제점으로부터 논의가 시작된 형태였기 때문에 마이크의 이야기는 설득력이 있었다. 부문장들은 실무자들이 밝힌 어려움에 모두 공감했다.

모든 일정이 끝난 후, 존은 AI 도입에 관해 사업 부문장들의 의견을 물었다. 그러나 여전히 AI를 먼저 시작하겠다고 나서는 사람은 없었다. 예상하지 못한 것은 아니었지만 존은 걱정이 들기 시작했다. 마침 그때 인사부서 책임자인 짐이 일어섰다. “저희 부서에 적용해보면 어떨까요?” 존은 속으로 만세를 외쳤다. 인사부의 프로세스는 AI 파일럿 프로그램으로서 더할 나위 없다고 생각했다. 인사부 업무는 AI가 실수하더라도 내부에서 해결할 수 있었다. 존은 뛰는 가슴으로 스티브에게 전화를 걸었고, 스티브의 도움으로 파일럿 프로그램에 대한 의사 결정이 이루어졌다.



킥오프



AI 프로젝트가 확정되자 빠르게 업무 분장이 이루어졌다. 존은 킥오프 미팅을 주관하며 마이크와 함께 인사부서 사람들을 만났다. 먼저 마이크의 데이터 사이언티스트 팀원들과 짐의 인사부 직원들은 차례로 자신을 소개했다. 인사부서에서 AI 도입을 선도하겠다는 짐의 의지는 확고했지만, 그의 팀원들은 여전히 의심에 찬 눈초리였다. 반대로 데이터 사이언티스트들은 어떻게 AI에 관해 설명할 수 있을지 고민스러워 했다. 마이크는 이 프로젝트가 무엇을 의미하는지, 어떤 기술들이 쓰일지 그리고 앞으로 몇 주간 어떤 일들이 일어날지, 어디서 무슨 도움이 필요한지 설명했다.

이번에는 인사부서 실무 담당자들이 업무를 소개할 차례였다. 짐의 인사부에는 여러 프로세스가 돌아가고 있었다. 채용ㆍ성과 관리ㆍ승진ㆍ보직 변경 등 많은 프로세스가 있었지만, 그중에서도 짐이 AI 이식을 시도하려는 프로세스는 인사부서로 날아오는 사내 이메일 분류 업무였는데, 담당직원의 업무는 단순히 이메일을 읽고, 그것이 무슨 내용인지 빠르게 파악해 최대한 빨리 관련 부서로 넘기는 일이었다. 짐은 이 부서에만 이메일 분류를 위해 24명이 일하고 있다고 밝혔다. 짐이 일하고 있는 이 글로벌 기업은 영어권 국가에 위치한 모든 거점 회사의 인사 부서를 통합한 조직이었기 때문에 전 세계 각 지점에서 일하는 직원들의 이메일은 매년 40만 통 이상 쏟아지고 있었다.

한편 미팅 마지막에 짐은 재미있는 이야기를 덧붙였다. “그런데 마이크, 사실 솔직히 이야기하면 우리도 몇 번이나 이 프로세스를 자동화하려고 시도했었어요. 내 기억에만 적어도 세 번이죠. 그런데 한 번도 제대로 된 적이 없어요.” 마이크가 물었다. “혹시 무슨 이유 때문이었는지 자세히 알려줄 수 있나요?” “물론이죠. 가장 큰 걸림돌은 우리 팀이 다루는 데이터 속성 때문이었어요. 아시다시피 우리는 이메일로 일하죠. 그런데 이메일은 규격화된 데이터가 아닙니다. 사람의 자연어를 쓰기 때문이죠. 한번 예를 들어보죠. ‘제 육아 휴직 일수는 얼마나 되나요?’라는 질문은 기본적으로 수없이 다르게 표현할 수 있습니다. 이런 문의는 ‘제 아내가 곧 출산하는데요’로 시작할 수도 있고, ‘2주 뒤에 아이가 나오는데요’로 시작할 수도 있습니다. 같은 뜻이라고 해도 문장이 전혀 달라요.” 짐이 말을 이었다.

“예전에 일했던 개발 회사들은 모두 전통적인 소프트웨어 개발 방식으로 접근했죠. 다시 말해, 이 모든 상황을 하나하나 규칙으로 짜는 방식을 시도했던 겁니다. 그러나 우리 직원들이 하나의 주제를 놓고 사용하는 어휘와 이메일을 작성하는 스타일은 예상보다 훨씬 다양했습니다. 과거의 언어 패턴을 몇 개의 규칙으로 일반화하는 것은 거의 불가능에 가까웠고, 더 큰 문제는 새로운 이메일이 규칙에 따라 들어온다는 보장도 없었죠. 따라서 개발 초기 단계에서 모두 불가능하다는 결론을 내렸습니다.”

마이크가 말했다. “짐, 고마워요. 그런데 혹시 사내 부서명이나 중요한 인사 규정, 혹은 IT시스템에 대한 어휘 목록을 모아놓은 것이 따로 있나요? 그게 큰 도움이 될 것 같은데요.” 마이크의 질문에 짐은 고개를 가로저었다. “아니요. 아마 우리에게도 그게 최우선 과제일지도 모르겠네요.” 중요한 단서였다. 기업의 AI는 범용하기 어렵고, 각각의 비즈니스 환경에 맞게 학습해야 하기 때문이다.



AI, 사람을 배우다



지난 3일간 아침부터 밤까지 매일 워크숍을 진행했고, 인사부 직원들의 도움을 받은 존과 마이크는 이제 이메일 분류 업무 프로세스에 꽤 익숙해졌다. 존은 워크숍에서 인사부 직원들이 어떤 이메일을 읽고, 어떤 조처를 하는지 업무를 시연하는 실무자를 지켜보았다. 단순하다고 생각했던 그들의 업무는 꽤 복잡했다. 하나의 이메일이 갈 수 있는 종착지는 수도 없이 많았다. 존은 이메일의 중요도를 상ㆍ중ㆍ하로 판단한다는 짐의 말이 떠올랐다. 하지만 존은 실무자의 이메일 분류 업무 과정을 지켜봐도 그들의 기준이 무엇인지 정확히 알기 어려웠다. 마이크도 그 문제를 해결해야 했다. “짐, 우리 데이터 사이언티스트가 ‘상’으로 분류된 이메일과 그렇지 않은 이메일에서 차별적으로 나타나는 언어 패턴을 찾아낼 수 있을 겁니다. 직원들은 어떤 키워드로 그것을 판별하나요?”

“마이크, 예를 들어, ‘최대한 빨리’, ‘신속히’, ‘병가’, ‘사별’, ‘월급’, ‘내일까지’ 등이 그런 키워드가 될 수 있겠네요. 우선 이 단어들이 있으면 그 내용을 더 신경 써서 봅니다. 사실 그걸 정확하게 판단할 수 없는 모호한 경우도 종종 있어요.” 존은 짐짓 걱정이 들었다. 마이크에게 들은 바에 따르면 결국 AI는 사람의 과거 행적을 학습하는 것이다. 그런데 사람의 과거 수행 결과가 일관적이지 않다면, 즉 과거 데이터에 일관성이 없다면 AI가 학습에 혼란을 겪지 않을까 하는 것이었다. “마이크, 혹시 데이터에 사람의 모호성이 그대로 존재한다면 AI가 학습 과정에서 그 문제를 어떻게 피하나요?” “존, 아주 좋은 질문입니다. 다행히 AI는 자신이 예측한 답과 그렇지 않은 답을 구분할 수 있어요. 학습된 사람의 과거 행위가 일관적이고 뚜렷하다면, AI는 높은 신뢰도를 부여할 겁니다. 만약 과거에 A라는 사람과 B라는 사람이 서로 다른 답을 하는 경우가 많았다면, 다시 말해 그 문제가 모호한 것이라면, AI는 학습된 내용으로 일을 처리할 때 낮은 신뢰도를 부여하는 식이죠. 여러 대답이 가능하니까요.”

마이크의 대답에 어느 정도 안심이 되었지만, 동시에 또 다른 의문이 고개를 들었다. “만약에 AI가 높은 신뢰도 점수를 부여했음에도 불구하고 그 분류가 잘못되면 어떻게 되나요?” “존, 그럴 가능성은 낮아요. 그러나 항상 100% 완벽한 것은 불가능하니 분명 실수가 발생할 수는 있겠죠. 다만, 그 실수를 어떻게 해결하는가 하는 것은 제가 답할 수 없는 질문 같아요.” 마이크는 짐과 인사부 직원들에게 물었다. “만약 분류에 실수가 있어서, 이메일이 엉뚱한 부서로 전달된다면, 인사부 직원들은 어떻게 그 문제를 처리하죠?” “부서 지정이 잘못되면, 그 부서에서 인사부서로 이메일을 돌려보냅니다. 돌아온 이메일은 중요도가 ‘상’으로 바뀌고, 최대한 빨리 적정 부서를 찾아서 다시 보내야 하죠.”

여기까지 정리되자 마이크와 데이터 사이언티스트 팀은 어느 정도 개발에 대한 윤곽이 섰다. 존은 인사부서가 사용하는 어플리케이션과 그 데이터베이스를 관리하는 IT 부서 팀장에게 연락해 데이터 샘플을 보내달라고 했다. 마이크에게 데이터를 넘겨주며 짐과 인사부 직원들은 재미있는 질문을 했다. “마이크, 혹시 AI가 이메일에서 감정을 읽을 수도 있나요? 우리는 이메일을 보낸 사람의 감정 상태에 따라서 긴급하다고 처리하는 부분도 있거든요. 사실 이 문제는 우리 부서 직원들도 어려워하는 문제라 AI가 어떻게 해결할 수 있을까 궁금했어요. 예를 들면 이런 상황이죠. 인사부 직원과 통화하며 감정이 상했다거나, 전에 보낸 요청 사항이 누락되어 오래 지체된 경우가 가끔 발생해요. 그러면 그 직원 입장에서는 꽤 감정적으로 이메일을 쓰거든요. 사실 내용 자체는 중요하고 긴급한 부분이 아닐 수도 있지만, 그런 이메일도 우리는 중요도 ‘상’으로 분류해요. 이런 것도 AI가 학습할 수 있을까요?”

“어느 정도 가능할 거라 생각해요. AI는 기본적인 감정 분석을 할 수 있어요. 이메일에 섞인 부정적인 뉘앙스의 용어들을 어느 정도 파악할 수 있을 겁니다. 참고로 상품 구매 후기 댓글에서 부정적인 내용을 찾아내는 용도로 쓰기도 했었어요. 짐, 다만 그 성능이 완벽할 수는 없어요.” “마이크, 설명 고마워요. 그런데 기업 이메일은 아무리 부정적이라고 해도, 상품 댓글보다는 그 톤이 온화할 것 같아요. 누가 화났는지 파악하는 것은 주관이 강하게 개입할 수 있는 부분일 것 같은데요. 사람이 헷갈린다면 AI도 마찬가지로 쉽지 않을 거란 느낌이 드는군요.” 존의 예상대로였다. 과거에 마이크가 만들었던 감정 분석 알고리즘은 큰 도움이 안 될 것 같았다. 그래서 결국 존과 마이크는 감정 분석을 위해 AI를 인사부 데이터로 완전히 새로 학습시켜야 함을 깨달았다.



개발의 장애물



마이크와 그의 팀이 AI 개발을 시작한 지도 어느덧 2개월이라는 시간이 지났다. 회의실에서는 마이크가 현재까지 개발된 AI의 성능을 발표하는 자리가 마련되었다. 그러나 한동안 어색한 침묵이 회의실을 감싸고 있었다. “아니, 그게 말이 됩니까? 정확도가 아직 87%밖에 안 된다고요?” 진일보한 AI를 기다리던 인사부의 짐은 화들짝 놀랐다. 마이크가 말했다. “짐, 이해합니다. 그러나 한번 들어보세요. AI는 100% 정확할 수 없습니다. 사람의 과거 행위를 학습하기 때문입니다. 우리가 인공 지능에 학습시킨 데이터는 과거 인사부 직원들의 업무 결과물입니다. AI는 무언가 완전히 새로운 것을 창조하는 것이 아닙니다. 사람처럼 일하기 위해, 사람이 과거에 한 행적을 참고하는 것이죠. 그리고 사람은 실수합니다. 때로는 모호한 상황에서 자의적인 해석을 하기도 하고요. 복수 정답이 있는 상황에서 사람들은 서로 다른 답을 내기도 하죠. AI는 이런 패턴을 모두 학습합니다.”

“내부적으로 품질 검사를 한 적이 있었는데, 팀원들 간에 서로 다른 의견이 나온 것이 5% 정도였던 것 같네요. 마이크, 그래도 AI의 성능이 이것밖에 안 되는 것은 설명이 더 필요한데요.” “짐, 타당한 질문입니다. 그럼 한 가지 질문을 하죠. 최근에 회사 내부 조직과 인사 관련 정책들이 큰 폭으로 변한 적이 있었나요?” 짐의 팀원 중 한 명이 대답했다. “아마도 3개월쯤 전인데요. 그때 몇몇 부서들이 통폐합되기도 하고, 새로운 부서가 생기기도 했어요.” “짐, 이제 설명이 될 것 같아요. A라는 부서명이 B라는 부서명으로 변경되었다고 가정할게요. 아마도 그 변화에 따라 인사부에서 선택하는 분류 항목 또한 바뀌어야 했겠죠? 즉 예전에는 A라고 분류했던 이메일을 이제 바뀐 정책에 따라 B라고 분류해야 하죠. 이러한 변화는 데이터에 그대로 녹아 있을 것이고, 따라서 AI가 학습에 혼란을 일으킨 것이죠.”