2021년 5월 기계는 어떻게 생각하는가(Sean Gerrish, 2018)
작성 시기 2021년 5월 · 최초 출간 2018
표기 기준·확인 내역
기존 독서노트에 기재된 출간 정보와 원서 식별 정보를 기준으로 정리했습니다. 외부 서지의 전수 검증을 완료한 항목이라는 뜻은 아닙니다.
표기는 작성 연도·월 → 책 제목 → (저자, 원서 최초 출간 연도) 순서입니다. 저자의 생몰년은 출판 연도에 넣지 않습니다. 이 자료의 변경 전·후 보기
원문 본문을 HTML로 옮겼습니다. 세부 서식은 Word 원본에서 확인할 수 있습니다.
기계는 어떻게 생각하는가? (숀 게리시, 2019 / 이수겸, 2020) 2021년 5월
Part I. 자율 주행차와 인공지능
인공지능은 단순히 컴퓨터가 어떻게 지능적인 일을 처리할 수 있는지를 다루고, 기계학습은 데이터를 통해 학습한 내용을 바탕으로 컴퓨터가 영리하게 일을 처리할 수 있게 해준다. 아무 데이터도 없는 상황에서 무차별적인 대입으로 해결책을 찾는 알고리즘이 필요할 때도 있고, 수억 개의 데이터를 학습하는 알고리즘이 필요하기도 하다. (좋은 결과를 얻기 위해서는 보통 두 종류의 알고리즘을 결합하곤 한다.) 컴퓨터가 어떻게 세상을 인식하고 상호작용하는지를 알아보고, 실례로 영화추천 엔진 작동원리와 컴퓨터가 보상을 걸고 특정 행동을 하도록 학습시키는 방법과 컴퓨터가 인공신경망으로 실세계를 인식하는 방법을 살펴보고 컴퓨터가 어떻게 게임하는 지도 들여다볼 것이다.
2. 자율주행차의 시작 – DARPA 그랜드 챌린지 (*2004년 미국방부 산하연구기관 DARPA는 자율주행 경주대회를 열고, 사람이 관여하지 않는 자율주행차의 센서와 판단체계의 시작을 알린다.)
할 만한 가치가 있는 일은 대부분 이루기 어렵고 시간도 오래 걸린다. 자신의 능력으로 일을 최대한 즐기고, 과정 또한 즐기는 것이 가치 있는 일을 이루어 내는 방법이다. 자신이 사랑하는 것을 얻기 위해 해야 할 일이 있다면, 그것은 자신의 모든 것을 걸고 사랑하는 것을 쫓는 것이다. 그것이 인생이다.
-윌리엄 휘태커, 레드팀의 리더-
*PID 제어기proportional integral derivative controller 제어루프는 속도계의 속도가 목표속도에 도달하도록 PID제어기에서 엔진을 제어하는 방식으로 현대의 자율주행차도 컴퓨터 프로그램을 사용해 자동차의 속도를 조정한다는 점만 제외하면 비슷한 피드백 루프를 사용한다. 자동차를 목표 속도에 맞춰 안정적으로 제어하는 데 세 개의 단순한 규칙을 사용한다. (3항 제어기) 속도를 조절하고 운전대를 조정하기 위해 소프트웨어 쪽에서 해야 할 일은, 자동차에게 시속 몇 킬로미터로 달릴 것인지 또는 운전대를 얼마나 돌려야 하는지 알려주는 프로그램을 작성하는 것이다.
자동차가 어디로 가야할 지 알려주는 경로계획은 자율주행차에서 가장 중요한 부분이다. 자동차의 현재 위치를 측정하기 위해 GPS센서를 장착하지만, 길에는 울타리나 바위 같은 장애물이 등장한다. 그래서 레드팀은 경주가 벌어지는 14만km2 위성지도를 분석해서 길 위의 지형을 직접 지도에 입력했다. 최적의 경로를 찾는 프로그램을 위해서 컴퓨터가 과정을 따라가지만 하면 스스로 길을 찾을 수 있도록 명확한 절차가 필요한 데, 이런 절차에는 몇 분 몇 초까지 명확히 따져야만 한다. 중요한 것은 문제의 프레임을 바꿔 컴퓨터가 처리하기 적합하게 만들어 줘야 한다. 컴퓨터는 복잡한 환경에서 자유로운 결정을 내려야 하는 일은 잘 처리할 수 없지만 함수의 최소값은 빠르게 구할 수 있다. 일단 지도의 모든 칸에 해당하는 비용을 계산하고 나면 지도 위 경로의 총 비용을 계산한다.
수신된 네 개의 위성신호를 이용해서 삼각측량으로 GPS의 현재 시각(t)과 위치(x, y, z)를 몇 미터 이내의 정확도로 파악한다. 하지만 자율주행차는 GPS에만 의존할 수는 없다. 무엇보다도 GPS가 항상 정확하지 않기 때문이다. 그러므로 GPS가 없는 상황에서도 주행할 방법을 찾아야 했다. 그래서 그들은 가속도계accelerometer를 험비 차량에 장착해서 자동차의 속도와 위치를 추정했다. 또한 회전을 측정하는 가속도계인 자이로스코프를 장착해서 험비가 가는 방향을 추적했다. 여기 사용된 칼만 필터의 아이디어는 어떤 사물의 정확한 위치와 속도를 알아내는 것은 불가능하며, 우리가 얻을 수 있는 것은 불완전하고 단편적인 데이터뿐이기 때문에 모든 측정값이 정확할 거라 예상하지 않으며, 단지 평균적으로 정확할 것이라고 가정하는 것이다. 그럼에도 지도에 표시되지 않은 울타리, 바위 또는 도로의 장애물에 부딪힐 위험은 남아 있어서 그들은 험비가 달리는 경로의 표면을 스캔하여 아직 표시되지 않은 장애물을 찾아 추가했다. 험비의 눈은 레이저와 광학센서를 결합한 것으로 라이다(lidar, light detection and ranging)이라 불렸다. 라이다는 음파탐지와 비슷하지만 음파 대신 물체의 표면에서 반사되는 빛을 측정하는 점에서 일종의 레이저 스캔 방식을 사용했다. 험비는 고장나서 도로변에 멈추기까지 11.8km를 주행했고, 험비가 할 수 있는 지능적인 행동은 단순한 규칙에 따라 센서에 반응하는 것이 대부분이었다. 험비의 눈과 그에 딸린 소프트웨어는 더 개선해야만 했다.
3. 자율주행차는 차선을 어떻게 인지할까?
*자율주행을 소프트웨어 문제로 여겨라! (스탠퍼드 레이싱팀 설계철학, 2005)
첫 번째 대회 1년 반 뒤에 열린 DARPA 자율주행대회의 승자는 대회에 새로 참가한 스탠퍼드 레이싱팀이 제작한 자율주행차 스탠리였다. 스탠리는 레드팀의 험비보다 10분 이상 빨리 결승점에 도착했다. 이 팀을 이끈 사람은 스탠퍼드 인공지능연구소 역대 최연소 책임자인 세버스천 스런이었다. 그는 자율주행차를 만들어 본 적이 없었지만 첫 번째 DARPA 그랜드 챌린지를 보고 영감을 받았다. 그는 스탠리를 제작할 인력을 20명을 모았는데, 그들은 관련 논문 몇 편 만을 읽었을 뿐이었지만, 그것이 오히려 특정한 접근법에 구애받지 않도록 해주었다. 이들은 단 8주만에 험비보다 느리긴 했지만 더 먼 거리를 주행하는 프로토타입을 만들었다. 스탠리가 대회에서 우승한 이유는 무엇이었을까? 첫 번째 대회에 참가한 팀들은 장애물 탐지 기능 같은 것에는 신경을 쓰지 않았다. 스탠퍼드 레이싱 팀은 전자지도와 경로탐색 기능보다 주변환경을 인식하는 기능이 더 중요하다는 점을 간파했다. 그래서 그들은 다른 설계 철학을 택하기로 했다. 바로 자율주행을 소프트웨어 문제라고 생각한 것이다. 그래서 그들은 기존에 작성했던 코드 대부분을 버리고 좀 더 높은 기준을 정해서 다시 코드를 작성했다. 그들은 자신들이 작성한 소프트웨어에 의존할 생각이 없었다. 정확히 말하면, 그들은 기계학습machine learning을 이용해 주행문제에 접근할 계획이었다.
< 스탠리의 소프트웨어와 하드웨어 구조 >
우선 스탠리의 자동화를 위해 외부 세계를 인지하는 방식과 인지한 상황에 반응하는 방식을 설계해야 했다. 외부 세계에서 변화가 일어나면 그 변화에 따라 끊임없이 의사결정을 내려야 했다. 센서(카메라, 레이저 스캐너, GPS스캐너)에서 데이터를 가져와서 차의 하드웨어를 제어하기 위해 계획한 레이어에서는 엔진 속도와 운전대의 방향을 조정하는 명령을 내리는 계획-제어planning and control(계획레이어) 방식이었다. 이것은 자동차가 도로에 장애물을 발견했을 때 어떻게 피할 수 있을지를 파악하고 자동차가 실제 주행을 어떻게 할지 결정을 내리는 역할을 했다.
가운데 인지perception 레이어는 하드웨어와 계획레이어를 중간에서 조정하는 역할을 하며, 낮은 수준의 센서신호를 계획 레이어에서 인식할 수 있는 모델로 만들어 주기 위해서 센서의 데이터를 계획 레이어가 해석할 수 있는 실세계 모델로 변환했다. 이 센서들의 측정값은 무수한 점을 나타내는 형태로 인지 레이어에 전달되었다. 스탠리는 레이저스캐너의 데이터를 사용하여 각 셀에 해당하는 위치에 물체가 존재하는지를 예측했다. 그런 다음 계획 알고리즘은 물체가 있다고 판단되는 셀은 피하고 물체가 없는 셀 위를 주행하도록 명령을 내렸다. 각 셀의 상태의 측정은, 셀 안에 있는 지점의 지표로부터의 높이(레이저 스캐너로 측정)와 이들 측정치가 언제 마지막으로 변경되었는지 등의 정보를 수집했다. 만약 높이가 서로 크게 다른 지점이 같은 셀에 있으면 스탠리는 이 셀에 물체가 있다고 판단했다. 스탠리의 센서 위치가 주행중의 흔들림으로 인해서 조금씩 바뀌는 바람에 그들은 스스로 측정 오류의 영향을 제거할 수 있는 별도 모델을 만들었다.
서배스천은 어떤 알고리즘을 사용해야 자동차가 센서 데이터를 잘 활용할 수 있을지 깊이 고민했다. 답은 기계학습이었다. 기본 아이디어는 누가 스탠리를 운전하든 안전한 지형만 주행할 것이고, 결국 스탠리가 주행하지 않은 지형은 안전하지 않은 지형인 셈이라는 데 있다. 이들은 센서 데이터를 사용하여 스탠리를 탑재한 장애물 탐지 모델의 변수를 조정할 수 있었다. 이런 식으로 서배스턴 팀은 데이터를 사용해 알고리즘을 효과적으로 학습시킬 수 있었다. 이들의 예측 방법은 간단한 수학 함수에 측정 데이터를 넣어서 예측치를 만들어 내는 것이었다. 스탠퍼드 레이싱 팀의 데이터를 기반으로 한 조정은 지형 감지 알고리즘의 성능를 크게 향상시켰다. 데이터로 알고리즘을 학습시키고 나자 실수할 확률이 1/6000로 줄어들었다.
그렇다면 이것을 가지고 스탠리가 도로를 안전하게 주행할 수 있었을까? 그렇지는 않다. 분류 알고리즘은 시야에 들어온 지형에서 주행할 수 있는지를 알려줄 수 있지만 그 지형이 도로를 의미하는 것은 아니기 때문이다. 바위, 덤불, 울타리 기둥 같은 장애물은 대개 양쪽 도로변에 있다. 차를 단지 도로 한가운데로 몰기만 하면 사막에서 장애물은 대부분 피할 수 있다. 그러므로 장애물은 탐지할 필요조차 없었다! 스탠퍼드 팀의 요점은 명확했다. 그래서 그들은 스탠리의 시각 시스템을 위해 도로 경계를 찾는 새로운 알고리즘을 개발했다. 보통 도로 양쪽은 컴퓨터에서는 계획한 경로와 평행할 것으로 판단하고, 자동차가 계획한 경로와 평행하게 그어진 선들에 맞춰서 차가 달리도록 프로그래밍했다.
도로변 데이터가 갖춰지자 이제는 스탠리가 도로의 중앙에서 얼마나 벗어났는지를 알 수 있었다. 스탠리의 경로 계획 알고리즘은 주행하던 경로에 장애물이 없을 때 도로의 한가운데로 달리도록 했다. 그러나 스탠리의 시각 시스템에는 여전히 문제가 남아 있었다. 스탠리의 레이저 스캐너는 불과 30m 앞까지만 볼 수 있었다. 서배스턴 팀은 레이저 스캐너의 범위를 넘어 스탠리가 도로 주변을 파악할 방법을 찾기 시작했다. 자동차의 전면에 비디오 카메라를 설치하는 것이 해결책이었다. 비디오 카메라는 레이저 스캐너에 비해 더 멀리 볼 수 있기 때문이다. 만약 카메라와 스캐너 모두 자동차 앞에 길이 곧게 뻗어 있다고 판단한다면 그 길은 안전하게 주행해도 된다고 예상할 수 있었다. 스탠리는 이 방법으로 시속 40km에서 72km로 주행 속도를 올릴 수 있었다. 스탠리는 기계 학습의 기법인 클러스터링을 적용해서 비슷한 색깔의 픽셀을 모아 여러 그룹으로 묶었다. 이런 방법으로 스탠리는 픽셀 하나가 도로인지 아니면 도로변인지 더 잘 파악할 수 있었다. 스탠리의 도로관찰 모듈은 항시 켜진 상태로 도로 색상의 측정값을 끊임없이 반복해서 계산했다. 계획 레이어에는 장애물을 피해 가는 경로를 계산하는 알고리즘도 있었지만, 장애물을 피하기 이전에 주행을 위한 전체 경로도 필요했다.
스탠리가 미리 계산한 경로의 일차 목표는 대회 주최측으로부터 받은 GPS좌표에 가까운 경로를 제공하고 단순히 GPS 좌표를 이어 놓은 삐뚤삐뚤한 선을 경로에 맞추어 정리하는 것이었다. 스탠리는 경주가 시작되었을 때 이 알고리즘을 실행하는데 불과 20초밖에 걸리지 않았다. 이렇게 계산하여 경로가 정리되면, 이제 인지 알고리즘에서 발견한 장애물을 피하면서 이 길을 따라가면 되었다. 원래 계획했던 경로에서 스탠리가 얼마나 멀리 떨어져서 주행하는지, 장애물이 있는 곳을 주행하는지, 도로 중앙에서 얼마나 벗어나 있는지 등을 비용으로 계산했다. 경로 계획 알고리즘은 자동차가 길을 따라 달리는 동안 초당 10회씩 반복 실행했다. 이 정도면 스탠리가 15~25m 전방에 있는 물체를 피할 수 있을 만큼 빠른 속도였다.
알고리즘이 데이터를 주고받을 때의 규칙 또한 필요했는데, 이것들은 여러 소프트웨어 모듈이 독립해서 병렬로 실행할 수 있게 했다. 여기에는 모든 것을 제어하는 마스터 프로세스 같은 것은 없었다. 마치 마트 직원들이 각자 다른 일을 하는 것과 비슷한 원리였다. 직원들은 각자 맡은 일을 대부분 독립해서 한다. 마트에서 서비스를 빠르게 제공할 수 있는 이유는, 계산대 직원이 계산하는 일만 할 뿐 현금을 은행에 넣거나 상품을 진열대에 채우는 등의 다른 일을 하지 않고 자기 일에만 집중적으로 하기 때문이다. 스탠리도 이처럼 각 모듈(특히 환경변화에 반응해야 하는)이 오직 한 가지 일만 하도록 구성했다. 그래서 스탠리에 내장된 모듈은 일일이 다른 모듈과 통신할 필요가 없었기 때문에 빠른 반응 속도를 구현했던 것이다. 그렇다고 해서 모듈의 통신을 막은 것은 아니었다. 모듈끼리 계속 통신을 하면서 한 방향으로만 전송 시간이 포함된 메시지를 보내는 방식으로 정보를 처리했다.
자율주행차의 GPS와 가속도계는 경주하는 동안 자동차의 위치와 방향을 추정한 뒤 그 값을 현재 시각과 함께 전송하는 일을 반복한다. 이들 기기가 하는 일은 이것뿐이다. 픽셀 클러스터링 모듈과 도로식별 모듈은 비디오카메라와 레이저 스캐너의 데이터를 가져와 도로를 찾아내고 이 정보를 전송한다. 속도 제어기와 경로 계획 모듈이 필요에 따라 이 데이터를 사용하는 것이다. 반면에 경로탐색 모듈은 현재의 위치와 장애물 정보를 바탕으로 자율 주행차에게 초당 10회의 속도로 최적의 경로를 계산해 주었다. 30여 개의 모듈은 이런 방식으로 작동했다. 그리고 세번째 DARPA 어번 챌린지에서는 자율 주행차가 도로교통법을 준수하고 시내에서 다른 일반 자동차와 함께 달리는 것으로 승부를 겨루게 된다.
4. 자율주행차는 교차로에서 어떻게 양보할까?
하드웨어 인지 세계 모델링 계획
하드웨어, 인지, 추론 모듈이 추론 기능의 추상화 수준을 단계적으로 높여 가도록 구성됨. 가장 높은 수준의 추론 레이어는 경로계획, 모노폴리판, 이동계획 모듈이라는 3레이어 구조로 이루어져 있다. 이들은 각각 전체 주행 계획을 세우고 이를 단계적으로 실행하고, 마지막으로 보스의 움직임을 한 번 더 검토한다. 시내 주행에서는 인지 레이어가 좀 더 많은 일을 해야 했다. 자율 주행차의 주변상황은 다른 자동차의 움직임에 따라 수시로 변할 수 있었다. 보스는 물체를 어떤 풍경의 일부가 아니라 단지 격자 위의 좌표로 인식할 뿐이었다. 보스는 시야에 들어온 사각형과 일정한 거리를 유지하기 위해 사각형의 뒤를 따라 주행하든지 다른 차선으로 피해 가야 했다. 중간 지점을 지날 때 수행해야 할 임무에 대해서는 대회가 시작되기 불과 5분 전에 통보되었다. 이들 임무는 다양한 도로 상황에서 주행하고, 주차하고, 복잡한 교차로를 통과하는 등의 일을 자동차 스스로 해내는 것이었다.
사막에서 13km를 채 달리지 못하던 자율 주행차가 불과 3년 만에 몇 시간 동안 도로를 달리면서 분주한 교차로를 훌륭하게 통과할 수 있는 정도가 되었다. 세상을 보는 수준을 넘어 자신의 주변 상황을 추론까지 하게 되었다. 답은 그동안 진일보한 자율 주행차의 소프트웨어에 있었다. 경로계획 모듈은 보스의 현재 위치에서 방문해야 할 다음 지점까지 가장 낮은 비용으로 이동할 수 있는 경로를 검색한다. 목적지까지의 최적 경로를 재평가하는 일을 반복수행한 다음 시간과 위험도를 비용함수의 입력값으로 사용했는데, 이런 데이터는 인지 레이어가 계속해서 갱신하는 최신 지도에 바탕을 두었다. 모노폴리 판 레이어는 가장 복잡한 모듈인데, 보스가 현재 무엇을 하고 있고 다음 시점에 무엇을 해야 하는지를 추적해야 했기 때문이다. 유한 상태 기계는 고려해야 하는 상태의 수를 제한함으로써 프로그램이 주변 상황을 추론할 수 있게 해준다. 또한 모노폴리 말의 현재 상태(위치)는 다음번에 말이 이동할 수 있는 위치를 결정한다.
보스가 어떻게 운전예절을 이해할 수 있을까? 간단하다. 프로그래머가 규칙을 표현하기 위한 몇 가지 상태와 이들 상태가 어떻게 변할 수 있는지를 나타내는 유한 상태 기계를 정의하면 된다. 단지 현재 상태에 해당하는 규칙을 찾아 수행하고 주변 상황을 점검한 결과에 따라 현재 상태를 변경한다. 이 과제를 완료하는 과정에서 이동한 거리가 얼마나 되는지 기록하고, 그와 동시에 과제가 완료될 때까지 하위 모듈(이동계획모듈)에게 실제 차량을 어떻게 움직일지를 위임하는 것이다. 이동계획모듈이 하는 일은 차량의 현재 위치로부터 모노폴리 판 모듈이 지정한 목적지까지 안전하게 도달할 수 있는 길을 찾아내고 주행하는 것이다. 경로계획모듈이 분-킬로미터 단위의 계획을 세운다면, 이동계획모듈은 초-미터 단위의 계획을 세운다. 경로계획모듈과 이동계획모듈의 차이점은, 경로계획모듈은 경로를 탐색할 때 지도에서 자동차의 위치만 고려하면 되지만, 이동계획모듈은 차의 위치, 속도, 방향을 기록해야 하고 물리법칙까지도 염두에 두어야 한다는 점이다.
보스가 사용하는 알고리즘은 보스의 위치, 속도, 방향(이 셋을 묶어서 상태state라고 한다)을 기록하는데, 계획을 세우려면 시간이 걸리기 때문에 보스는 이동계획모듈을 하나 더 사용해서 현재 경로와 다음 경로를 동시에 탐색했다. 그 결과 경로와 경로 사이를 이동할 때 잠깐씩 멈출 필요가 없었다. 자율주행차는 장애물이 표시된 격자 형태의 지도를 내부에 가지고 있다. 이동 계획 모듈은 경로를 선택할 때 비용함수를 사용하고, 비용함수는 장애물(주차된 다른 자동차 같은 것)까지의 거리를 종합해서 비용을 계산한다. 이동계획 모듈은 목표지점까지 경로를 탐색하고, 경로는 속도, 위치, 방향의 값을 포함한 조그만 경로 조각들의 정보를 포함한다. 실제 탐색과정은 마지막 상태로부터 시작해서 처음 상태를 찾아가는 방식으로 (주차가) 이뤄진다.
보스가 오작동 상태에 빠졌을 때 이를 막아준 것은 오류회복시스템이란 기능이었다. 보스의 착시 현상은 여러 인지 알고리즘 중 특정 알고리즘에서 발생한 문제였다. 복잡한 소프트웨어를 만들 때 항상 버그는 발생한다. 그래서 보스에는 버그나 예상치 못한 상황에 대처할 수 있는 시스템과 절대로 포기하지 않는 시스템이 필요했다. 거기에는 다음과 같은 세 개의 주요한 원칙이 적용되었다.
(i)오류 해결까지 점점 더 큰 위험을 감수해야 하며, 회복을 위해 동일한 시도를 반복해서는 안 된다.
(ii) 회복 시도는 현재 운전 상황에 적합해야 한다. 예를 들면, 보스는 도로에 있을 때와 주차장에 있을 때를 구별하여 회복 시도를 해야 한다.
(iii) 오류 회복 기능은 다른 소프트웨어에 버그를 일으키거나 원치 않는 방식으로 작동할 가능성을 줄이기 위해 될 수 있는 한 단순해야 한다.
상위 수준의 경로탐색이 하위 수준의 경로탐색이나 인식기능에서 발생하는 문제를 해결하는 가장 중요한 부분이었다. 보스와 스탠리에 적용된 핵심 설계원리는 시스템을 하드웨어, 인지, 계획 레이어로 조직화하는 것이었다. 만약 드문 상황이 한꺼번에 일어난다면 그건 약간 다른 문제다. 보스는 이런 상황을 어떻게 처리할 수 있었을까? 인지레이어가 주변상황을 인식하는 작업을 처리하고 모노폴리판모듈이 예기치 않은 상황을 처리해 주기 때문에 이 상위 레이어는 수행해야할 과제를 계획하고 경로를 탐색하기만 하면 된다. 3레이어의 하부에는 제어 레이어가 있는데, 이동 계획 모듈과 운전대, 속도 제어기로 구성되어 있다. (*로봇공학 3레이어 구조는 deliberator, sequencer, controller 숙고해서, 순서대로, 제어한다로 이루어진다. 1985년까지 로봇 공학에서는 감지-계획-행동 sense-plan-act구조가 널리 쓰였다) 이동계획 모듈은 구동계actuator를 통해 운전대, 브레이크, 가속 페달을 직접 제어해서 차량의 속도를 목표 속도에 맞추기 위해 모터 토크를 높이거나 브레이크를 밟도록 한다.
실시간 인공지능 시스템은 주변 상황의 변화에 대응해야 한다. 시퀀서의 기저에 있는 근본설계원리는 식별 가능한 오류cognizant failure의 개념을 이용하고, 이런 오류는 시스템에서 어떤 방식으로든 탐지할 수 있는 오류를 뜻한다. 오류를 절대 일으키지 않는 알고리즘을 설계하는 대신 오류 탐지에 실패하지 않는 알고리즘을 사용하도록 했다. 그 이유는 다음과 같다.
(i) 오류를 인식할 수 있는 주행 알고리즘을 설계하는 것이 완벽한 알고리즘을 설계하는 것보다 쉽다.
(ii) 만약 오류가 탐지된다면 그 오류에서 회복하기 위한 교정명령을 수행할 수 있으므로, 식별 가능한 오류가 정리되어 있다면, 오류 발생 확률이 높은 다수의 알고리즘을 결합하여 전체적으로는 오류 발생확률이 낮은 알고리즘을 만들 수 있다.
기존에 널리 사용되던 로봇은 정보를 센서로부터 계획 모듈을 거쳐 제어기로 한 방향으로만 흘러가도록 했기 때문에 직면한 상황에 반응하지 못하는 단점이 있었다. (*포섭구조 subsumption은 한 모듈이 다른 모듈에 종속되어 동작하는 구조) 높은 수준의 추론 레이어 대부분은 수십 년 동안 인공지능 분야에 존재해 온 개념들(탐색 알고리즘과 유한상태 기계 등)에서 가져온 것이며 일반적으로 기계학습과는 거리가 먼 것들이다. (기계학습은 주로 데이터를 사용해서 기계를 학습시키는 방법을 다루지만 인공지능은 데이터가 필요한 것은 아니다) 자율주행차는 센서에서 인식한 객체를 어떻게 분류할 수 있을까? 딥 러닝 분야의 비전 알고리즘 vision algorithms은 마치 컴퓨터가 사람처럼 사진의 내용을 분류할 수 있도록 해준다. 딥 러닝 알고리즘은 그래픽 카드 제조사인 엔비디아 같은 회사에서 자율주행차의 비전 시스템에 사용하기 위해 전용 하드웨어를 개발할 정도로 급속히 발전했다.
자율주행차를 개발하려면 엄청난 양의 소프트웨어가 필요하므로 막대한 인력을 투입해야 한다. 1990년대의 정체기 이후 자율주행분야는 DARPA그랜드 챌린지를 기점으로 불이 붙는다. 이들 대회를 통해 놀라울 정도로 발전을 이루었다. 예기치 못한 상황에 대처하는 기능은 여전히 자율주행차가 해결하지 못한 큰 문제로 남아 있다. 우버의 시험 자율주행차는 자율주행 모드를 해제할 때(사람의 운전 개입 상황이 벌어질 때)까지 평균 주행거리가 1.3km에 불과한 수준이었다. 같은 시기 알파벳의 자율주행차 회사인 웨이모Waymo는 우버보다 훨씬 좋은 결과를 내서 자율주행모드 해제를 1000km마다 0.125회를 기록했다. DARPA 그랜드 챌린지에서 만났던 경쟁자들이 자율주행차를 함께 만들기 위해 모였다. 알파벳의 자율주행차 프로젝트를 이끌던 서배스천 스런은 결국 크리스 엄슨, 앤드류 레반도프스키(자가균형 오토바이 제작자)를 비롯하여 자율주행차 분야의 선도자를 고용했다. 크리스는 2013년에 알파벳의 자율주행차 프로젝트 수석이 되었다.
PART II. 넷플릭스 프라이즈와 인공지능
넷플릭스는 나도 몰랐던 나의 취향을 찾아 영화를 추천해 준다. 넷플릭스에서 주최한 알고리즘 향상 대회인 넷플릭스 프라이즈를 통해 고도화된 추천 알고리즘은 점점 더 나보다 나를 잘 아는 것처럼 보인다. 이 대회에서 우승한 알고리즘은 어떤 인공지능 아이디어를 썼을까?
5. 넷플릭스 프라이즈 – 영화추천 알고리즘 대회
2006년 넷플릭스(*NETFLIX는 인터넷net와 영화flicks의 합성어)는 가장 좋은 영화 추천 알고리즘을 만드는 팀에게 상금 100만 달러를 걸었다. 넷플릭스 고객이 영화에 1~5개의 별로 평점을 매길 수 있었는데, 이 평가 점수를 활용해서 고객이 어떤 영화를 대여할지를 선택하는 데 도움을 주고자 했다. 1998~2005에 수집된 1억 건의 영화평가 데이터를 제공하고, 상금은 10%이상 향상된 알고리즘을 먼저 만드는 팀에게 주기로 했다. 대회가 시작되고 일주일이 안 되어 넷플릭스의 알고리즘보다 성능을 1% 향상시킨 팀이 등장했다. (대회기간 일년동안 2만개의 팀에서 2천개의 알고리즘을 개발했다)
벨코팀은AT&T연구소 네트워크와 추천 시스템분야 연구원 3명으로 이뤄졌고, ML@Toronto팀은 토론토 대학의 신경망 연구원(이 가운데 제프리 힌턴은 신경망 이론의 창시자로 유명함)들로 구성되었고, 그래비티팀은 두명의 헝가리 대학생팀이었다. 참가자들은 서로 경쟁하는 관계이지만 이 대회를 통해 협업하는 방식을 배우게 된다. 사실 다른 팀에게서 무언가를 배우거나 다른 팀과 협업할 의지가 없는 팀은 좋은 성적을 내는 것이 실제로 불가능했다. 사실 추천 엔진은 사람들의 취향을 찾아내는 것을 목표로 하는 알고리즘이다. 추천 엔진은 사람의 취향을 모델링하여 무엇을 좋아하는지 알아낼 뿐만 아니라, 온라인 쇼핑, 선거 예측처럼 우리의 실제 생활에 직접적인 영향을 미친다.
먼저 데이터 분류기classifier를 통해 데이터를 변환한다. 데이터에는 어떤 특성feature가 있는데 이런 특성에 점수를 부여해서 가중평균weighted average을 구하는 방법을 많이 사용한다. 가중치는 각 특성의 중요도에 따라 최종 점수를 산출하게 된다. 왜 특성을 사용해서 가중평균을 구해야 할까? 우선 가중평균은 단순하고 직관적이며 이해하기 쉽기 때문에 통계 요소 중 가장 중요한 방법이다. 가중 평균으로 분류기를 만들기 위해서는 임계값threshold(문턱, 어떤 값을 넘어서는 한계값)을 정해야 한다. 그런 다음 임계값 이상의 점수를 가진 것은 좋은 데이터로 이하의 점수를 가진 것은 나쁜 데이터로 분류하게 된다.
그렇다면 영화는 어떤 기준으로 추전하는 걸까? 영화추천 목표는 무엇으로 해야 할까? 넷플릭스의 대여비디오는 70%가 독립영화 내지는 오래된 재고품이다. 넷플릭스는 수많은 재고 타이틀과 대여를 원하는 사용자의 긴 대기 시간이라는 조건에서 사용자에게 영화를 추천하기 위해 자체 개발한 영화 추천 알고리즘 시네매치Cinematch를 사용했다. 그래서 넷플릭스 엔지니어들은 시네매치 추천 알고리즘을 개선하기 위해 일하고 또 일했다. 시네매치가 더 이상 개선될 가능성이 안 보이자, 넷플릭스 프라이즈 대회를 열어서 알고리즘 성능 10% 개선하는 팀에게 100만달러를 걸었던 것이다. 그들은 이 상에 조건을 하나 붙였는데, 수상자는 추천 알고리즘의 상세한 내용을 외부에 공개해야 한다는 것이었다. 넷플릭스는 명확하고 객관적인 목표를 제시함으로써 문제를 단순하게 만들었다. 문제 자체를 거대한 평점의 행렬이라는 관점으로 보면 이해하기 쉽다. 이 행렬은 17,700개의 영화와 48만명이 매긴 평점을 담은 거대한 데이터 덩어리였다. 이 행렬에서 숫자가 채워진 부분은 전체의 1%에 불과했다. 대부분의 사용자들이 평점을 남기지 않았던 것이다.
참가자들은 어디에서부터 시작해야 했을까? 그들은 단순 기본모델부터 시작해서 평점행렬의 기본추세를 설명하는 것이 중요하다는 사실을 발견했다. 벨코팀은 (i) 누가 영화에 평점을 매겼는지 상관없이 영화가 얼마나 인기 있는지 계산해서 반영하고, (ii) 사용자가 평점을 매길 때 점수를 박하게 주는지 후하게 주는지를 알아내는 알고리즘을 통해 이런 경향을 포착했다. 그들은 이처럼 객관적 인기도(ET효과)와 주관적 성향(스크루지효과)를 파악해서 기본적인 추천엔진을 만들었다. 이 간단한 모델을 통해 벨코팀은 각 영화와 사용자의 중치와 편향intercept를 구했다. 하지만 이렇게 만든 추천엔진의 문제점은 모든 사용자에게 유명하고 인기 있는 DVD만 추천함으로써 개인화된 추천 결과는 만들어 내지 못했다. 벨코의 기본 모델은 사용자 전체를 대상으로 놓고 보면 그럴 듯했지만 훌륭하지는 못했다.
단일 모델이 모든 사람에게 적용될 수 없다는 사실은 이렇게 표현된다. (토드 로즈의 ‘평균의 종말’ 내용 중에서) “조종사 4천명의 신체 치수 10개 항목을 측정해 평균을 구했지만 조종사 중 모든 신체 치수가 이 10개 항목의 평균 범위에 들어가는 조종사는 단 한 명도 없었다. 평균 체형의 조종사는 존재하지 않는다. 조종사의 평균 체형에 맞춰 설계한 조종석은 실제로는 어떤 조종사의 체형에도 맞지 않았다.” 이 발견을 토대로 대니얼스는 조종사가 자신의 체형에 맞게 조절할 수 있는 조종석을 제안해서 공군이 이를 수용했다. 개인 맞춤형이라는 새로운 원칙을 적용함으로써 이 문제를 해결했던 것이다. 현재 이런 형태의 좌석은 모든 종류의 차량, 항공기의 표준이 되었다. 공군은 조정할 수 있는 헬멧 띠와 조종사복도 개발했다. 이런 결과물과 해결책이 등장하자 조종사의 능률이 높아졌고 미 공군은 세계 최강의 공군이 될 수 있었다. 넷플릭스의 추천 엔진에도 사용자에게 개인화된 추천을 제공하는 조정 좌석과 비슷한 해결책이 요구되었다.
행렬인수분해matrix factorization은 거대한 행렬이 중복된 정보를 많이 갖고 있다는 사실을 기반으로 사용자 평점에 예측가능한 패턴을 가정해서 추천한다. 넷플릭스 사용자가 어떤 장르를 좋아하면 1, 싫어하면 -1, 관심이 없으면 0이라는 숫자로 표현하고, 일단 각 영화와 사용자에 대한 데이터를 얻고 나면, 이 데이터를 사용해서 특정 사용자가 임의의 영화를 좋아할지를 예측해 볼 수 있다. 이 방법이 점수를 계산하는 가장 나은 방법이라고 장담할 수는 없지만, 최소한 이 방법이 옳은 방향이라는 것에는 고개를 끄덕일 수 있을 것이다. 지금 살펴본 것은 행렬 인수분해 방식으로 가장 중요한 알고리즘이며 추천엔진의 핵심 개념이다.
영화의 장르를 무시하고 평점 행렬에서 알아낸 가공의 장르를 사용하는 경우 실제로 영화 평점을 더 잘 예측할 수 있다. 크리스는 어떻게 서로 다른 수천 명의 사람이 영화에 평점을 매겼는지를 이해하면서 영화에 대한 기존 지식보다 더 많은 정보를 얻을 수 있었다. 그리고 첫 해의 막바지 상위 팀들은 넷플릭스의 기존 알고리즘보다 약 8% 성능 향상을 달성했다.
6. 협력하는 참가자들 – 넷플릭스 프라이즈 우승자
*프래그매틱pragmatic : 사물을 이론적 관점보다 실용적 관점에서 현명하고 현실적으로 다루는
*카오스 chaos : 임의로 움직이는 것처럼 보이는 행동 예측이 불가능하며 민감하게 변하는 복잡계의 특성
넷플릭스 프라이즈 참가자들 사이에는 빈번한 교류가 있었다. 프로그램 코드, 개발 아이디어, 추가 데이터, 데이터에서 발견한 패턴에 대한 지식의 공유에서 더 나아가 여러 팀이 연합하거나 여러 모델을 블렌딩하여 정확도를 높이는 시도를 했다. 이들은 두 가지 핵심아이디어를 공통적으로 사용했는데, 바로 행렬인수분해와 모델블렌딩이라는 접근 방식이었다. 기본 모델인 스크루지효과(사용자가 평점 후하게 주는지 박하게 주는지의 정도)와 ET효과(사용자 평점과 상관없이 영화 자체가 좋고 나쁜지를 평가함)에 더해서 터미네이터효과(사용자 고유의 취향을 간단하게 정리하는 것)를 처리하기 위한 행렬인수분해가 여기에는 포함되어 있었다.
대회 초기부터 널리 쓰인 모델은 ML@Toroto팀이 개발한 인공신경망artificial neutral network였다. 평점을 1과 0.5 사이의 실수 대신에 1, 2, 3, 4, 5라는 다섯 개의 불연속적인 범주로 행렬인수분해와는 약간 다른 방식이었다. 또다른 방식으로는 비슷한 사용자를 찾아내서 그들의 특성을 범주화 하는 것이었다. 그 밖에도 사용자가 영화에 매긴 평점을 보는 대신, 평점을 매긴 영화가 무엇인지를 분석하는 방식도 있었다. 거기에 덧붙여 사용자가 언제 영화에 평점을 매겼는지도 주목하기 시작했다. 하지만 어떤 것으로도 사용자가 어떤 상태(기분)인지는 측정하기 어려웠다.
영화의 인기도에다 사용자의 평점을 기반으로 기본 모델이 만들어졌다. 인기도는 시간에 따라 변하므로 여기에 적용할 변수를 주는데, 이럴 경우 데이터의 오차가 적게 나오는 반면 실제 성능을 좋지 않을 위험성이 있었다. 이처럼 평점을 예측하는 방법을 만들기위해서는 어떤 요소를 넣을지 수많은 결정을 내려야 한다. 모든 매개 변수를 조정하여 최상의 결과를 얻을 수 있는 환경을 만들어 놓으면 이 모델은 과적합에 빠질 위험이 있기 때문에 결국 서로 다른 매개 변수로 구성된 여러 모델을 만든 다음 평균을 내는 방식을 택하게 된다. 벨코팀이 수상했을 때의 알고리즘은 서로 다른 170개의 모델을 평균한 것이었다. 하지만 벨코팀은 약 50개의 모델을 사용했을 때 다소 개선된 결과를 얻을 수 있음을 발견했다. 모델 블렌딩의 장점은 빨리 개발해서 테스트를 해볼 수 있는 간단한 모델에 집중할 수 있게 해준다는 점이다. 그 결과 프로그래밍 버그와 고적합에 영향을 덜 받는 모델을 얻을 수 있다. 다시 말해서 서로 다른 모델을 사용하면 데이터에 존재하는 불확실성을 다양한 범위에서 잡아낼 수 있기 때문에 좀더 실용적인 결과물을 얻을 수 있게 된다. 또 하나 부스팅 방식이 있는데, 이것은 여러가지 약한 모델(아주 좋지는 않지만 그럭저럭 쓸만한 것)을 결합해서 원래 모델보다 더 강력한 모델을 만들 수도 있다. 이 모델은 완벽하지 않으므로 모델이 잘못 예측한 평점 결과를 증폭시키게 된다. 이 과정을 계속 반복하여 부정확한 평점을 도드라지게 만들고 새로운 모델을 반복해서 최적화시키는 것이 부스팅 과정이다.
빅 카오스 안의 벨코팀이 알고리즘을 공개했을 때 실용이론 팀은 바로 결과물을 받아 분석에 들어갔다. 벨코팀이 협업 필터링 이론을 강조했다면, 빅카오스팀은 블렌딩 알고리즘을 강조했다. 실용이론팀은 전적으로 그들이 투자한 노력과 그 결과물의 양에 집중했다. 실용이론팀은 가능한 한 정확한 예측결과를 얻은 데에 집중했다. 그들은 시스템의 복잡도나 실행 성능은 무시하더라도 무슨 수를 써서라도 최고의 정확도를 얻고자 했다. 나중에는 빅카오스 안의 벨코팀은 실용이론팀과 연합하여 벨코의 실용 카오스팀을 만들어서 10.05%라는 결과를 만든다. 10%를 돌파하는 팀이 나오면 30일간의 라스트 콜 기간이 시작되고 나머지팀들은 한 달 안에 그 것을 따라잡아야만 한다. 마감 24분전 벨코의 실용카오스팀은 10.09% 향상된 모델을 제출하고 우승한다. 하지만 넷플릭스는 이 모델을 사용하지 않았다. 대신 그들은 다양한 아이디어를 얻었고, 행렬인수분해와 인공신경망이 주목할 만한 성능향상을 가져온다는 것을 발견했다. 이 두 방법만으로 시네매치에 비해 7.6% 향상된 결과를 얻을 수 있었다.
PART III. 강화학습과 심층신경망
*게임은 세상의 축소판과 같다. 체스 챔피언 출신 뇌 과학자 허사비스가 설립한 딥마인드는 강화학습과 심층신경망을 이용해 인공지능분야의 비약적 발전을 이끈다.
7. 보상을 통한 컴퓨터 학습 – 강화학습
2014년 구글은 딥마인드라는 비밀에 싸인 작은 50명 규모의 작은 회사를 5억 달러가 넘는 비용을 지불하고 인수한다. 딥마인드가 프로그램에게 게임을 수백만 번 시키자 사람보다 더 잘하게 되었다. 이 프로그램이 인상적이었던 이유는 인간의 개입없이 프로그램 스스로 게임하는 방법을 배웠기 때문이다. 딥마인드 프로그램에게 필요한 것은 게임을 연습할 시간이었다. 딥마인드는 강화학습reinforcement learning을 활용해서 경험을 통해 학습할 수 있는 능력을 컴퓨터 프로그램에 부여하는 방식이었다. 강화학습기법을 사용하는 컴퓨터 프로그램은 학습할 때 보상reward나 처벌punishment을 받는다. 작업을 마칠 때마다 이런 보상을 제공함으로써 해야 할(또는 하지 말아야 할) 행동을 학습시키는 것이다. 이것은 지능적으로 보일 수 있지만 그 또한 결정론적인deterministic 프로그램에 따라 움직이는 것일 뿐이다. 비밀은 단순하다. 게임하는 법을 학습한 다음 화면에서 무슨 일이 일어나는지 인지하도록 하는 것이 전부이다. 그렇다면 그것은 어떻게 경험하면서 배우는 것일까? 먼저 충분한 경험이 쌓일 때까지 스스로 게임을 하도록 한 다음, 어느 방향을 노려야 하는지 스스로 선택할 수 있게 한다.
큐브의 각 셀에는 특정위치에서 특정 행동을 했을 때 이 행동에 대한 기대값이 저장된다. 그렇다면 큐브의 셀에 저장할 가치의 값을 어떻게 알 수 있을까? 큐브의 값은 미래에 에이전트가 받을 수 있는 보상의 가치에 시점 조정이 적용된 값이며, 이 값을 활용하는 에이전트를 만들려면 에이전트의 현재 상태를 기준으로 가장 높은 가치가 있는 행동을 선택하도록 하는 프로그램을 작성한다. 어떤 행동을 하고 난 다음 상태가 어떻게 변할지 전혀 알 수 없다. 딥마인드는 에이전트가 시행착오를 겪으면서 큐브의 값을 알아내는 방식으로 이 문제를 해결했다. 에이전트의 전략은 어떤 상황에서든 최선의 행동을 선택하는 것이므로 우리는 영리한 에이전트가 축적된 경험에 따라 어떤 행동을 취할지 알 수 있다. 에이전트를 학습시키기 위해 에이전트가 게임을 하는 동안 경험한 일련의 과정을 반복하는데, 여러 번 게임을 반복하면서 이 과정을 반복시킨다.
학습의 품질은 시간이 흐름에 따라 점차 개선된다. 에이전트가 인식하는 세계에 대해 중요한 전제가 하나 있다. 에이전트가 미래를 예측할 때 고려해야 할 것은 오로지 에이전트의 현재 상태뿐이다. 에이전트의 현재 상태에는 에이전트가 미래를 예측하는 데 필요한 이전에 일어난 사건이 모두 반영되어 있다고 가정하므로 이런 방식이 가능한 것이다. 다양한 행동 중 하나를 선택하여 상태가 변하면서 우리가 의도하는 무엇인가를 성취할 때마다 보상을 받는다. 현재 상태에서 어떤 행동을 할 수 있는지 검색하고 시점 조정된 보상가치가 가장 높은 행동을 선택한다. 아타리 게임을 하는 데 필요한 큐브는 매우 거대했다. 딥마인드는 행동-가치 큐브에 값을 넣는 방식을 바꿀 필요가 있었다. 딥마인드가 선택한 도구는 바로 신경망이었다.
8. 신경망으로 아타리 게임을 정복하다
점점 발전하는 하드웨어, 거대한 데이터, 신경망을 학습시키는 새로운 프로그램 방법의 등장으로 10년 전에는 꿈으로 여겨졌던 대규모 신경망이 가능하게 되었다. 아타리 게임에서 에이전트는 자신이 처한 상태에서 어떤 행동을 취해야 할지 정할 방법이 필요했다. 상태의 수가 매우 많은 상황이라면 상태-행동 큐브는 감당하기 힘들 정도로 커지고, 그렇게 되면 적절한 시간 안에 이 큐브에 값을 채우는 일은 불가능해진다. 강화학습에서 사용하는 Q함수(행동-가치 함수 action-value function)의 문제점은 행동-가치 큐브를 완벽하게 구현하려면 함수를 컴퓨터에서 구현하고 프로그램을 저장해야 하므로 여전히 막대한 용량의 저장 공간이 필요하다는 점이다. 에이전트가 가질 수 있는 상태값을 요약하면서도 게임을 하는 데 유용한 정보를 담기 위해서는 조금 복잡한 분류기가 필요하다. 이는 행동-가치 큐브를 충분히 모사할 정도로 유연하면서도 다양한 함수를 대변할 수 있어야 한다는 뜻이다. 신경망은 이런 작업에 어울리는 특성을 갖추고 있다. 신경망은 특히 특성을 자동으로 식별해 주기 때문에 50개의 서로 다른 게임에 대해 수작업으로 특성을 찾을 필요가 없다.
신경망은 생물학에서 영감을 받아 만들어진, 수학함수로 상호작용하는 인공뉴런으로 구성된다. 각 뉴런은 단순히 가중 평균 분류기이며, 다만 분류기의 출력이 모종의 방법으로 합쳐져 있을 뿐이다. 달리 말하면, 이 신경망은 서로 연결된 작은 분류기들의 뭉치라고 할 수 있다. 신경망을 사용할 때에는 보통 특정한 값을 입력 뉴런에 넣은 뒤 신경망의 값을 계산하는 방식을 사용한다. 신경망이 비록 생물학에서 영감을 얻었지만 생명의 신비와는 거리가 멀다. 입력 뉴런의 밝기에 따라 신경망에 속한 뉴런의 밝기가 정확하게 결정된다. 신경망은 일종의 수학식을 계산하는 복잡한 계산기에 불과하다. 뉴런 사이의 연결별 가중치와 뉴런에 대한 입력값을 알고 있는 한 신경망이 출력하는 결과값에는 어떤 애매함도, 임의성도, 마법도 존재하지 않는다. 신경망은 컴퓨터 계산기이고, 오토마타의 중요한 구성 요소일 뿐이다.
왜 신경망을 사용하는 것일까? 에이전트에게 필요한 것은 다양한 게임을 실행할 수 있을 정도로 충분히 유연한 Q함수였다. 신경망의 또 다른 장점은 가중치가 데이터로 쉽게 학습될 수 있다는 것이다. 신경망은 이미지의 픽셀에 대한 x, y좌표를 입력 받아서 각 픽셀의 밝기를 0~1 사이의 범위로 예측한다. 이때 어떤 형태의 신경망을 만들며, 가중치는 어떻게 선택할까? 신경망에는 에이전트의 현재 위치 x, y 좌표값을 받는 입력 레이어와 스윙해야 할 여덟 방향을 예측하는 출력 레이어, 그리고 커다란 히든 레이어가 있다. 신경망의 가중치를 알아내고 나면, 에이전트는 신경망의 입력 뉴런에 골프 코스에서 자신의 위치를 입력하고 신경망의 값을 계산해 여덟 방향의 행동에서 기대할 수 있는 가치를 알아내고, 가중치가 가장 높은 행동을 선택하는 행동을 반복수행하게 된다.
< 아타리 에이전트의 구조 >
아타리 게임은 에이전트에게 명확한 목적(게임에서 얻은 점수)를 제공하고, 그와 동시에 딥마인드에게 신경망을 학습시킬 수 있는 데이터를 무제한으로 제공했다. 데이터의 양은 복잡한 신경망을 학습시킬 때 중요한 요소로 작용한다. 아타리 에이전트의 가장 성공적인 요소는 합성곱 신경망으로 세계를 인지하는 기능이다.
9. 신경망이 보는 세상
2006년 이래로 심층 신경망을 이용한 이미지와 미디어 내용을 인식하는 컴퓨터의 능력은 비약적으로 발전했다. 데이터 증가, 하드웨어 발전, 더 좋은 신경망 구조, 신경망 학습을 위한 더 좋은 기법 등이 기계학습의 발전을 이끌었다. 신경망 함수의 입력과 출력의 처리가 고정되어 있기에 신경망에 마술이나 예측할 수 없는 요소는 존재하지 않는다. 오히려 그 반대로 완벽하게 예측할 수 있다. 신경망은 단순한 계산의 모음을 뿐이다. 또한 인공뉴런은 분류기에 불과하다. 그것들은 신경망의 가중치를 조정하여 어떤 입력을 넣든지 원하는 출력을 얻을 때까지 가중치의 조정을 반복할 뿐이다.
신경망을 학습시키는 과정은 강화학습처럼 애완동물을 간식으로 길들이는 것과 비슷하다. 먼저 신경망이 사진을 인식할 수 있도록 사진을 숫자로 치환해야 하는데, 빨녹파 3원색의 픽셀 300X200X3=180,000개의 숫자로 표현할 수 있다. 어떤 사물이든 신경망을 학습시켜 인식가능한데, 거기엔 충분한 데이터와 거대한 신경망을 필요로 한다. 문제는 신경망이 너무 지나치게 유연하거나 학습시킬 데이터가 충분하지 않을 경우엔 잘 작동하지 않을 수도 있다는 점이다. 특히 신경망은 과적합 문제에 취약한데, 신경망이 수억 개에 달하는 뉴런의 연결망을 가질 수 있으며 이 경우 조정할 수 있는 부분도 수억 개가 되기 때문이다. 해결책은 조정할 부분이 적은 신경망을 사용하고 가능한 한 대규모 데이터를 학습에 사용하는 것이다. (*오컴의 면도날 : 14세기 영국 오컴지방의 철학자이며 수사였던 윌리엄 오컴이 주장한 경제성의 원리. 여러 가설이 있을 때, 가정의 수가 적은 가설을 채택하는 것이 좋으며, 불필요한 가정은 면도날로 잘라내듯 제거하여 단순화하는 것이 좋다는 주장)
신경망 학습에 사용할 사진 자료에는 메타데이터(데이터를 설명해 주는 데이터. 사진 제목, 촬영시간, 촬영에 사용한 카메라 등이 사진의 메타데이터가 된다)가 필요하다. 심층신경망 deep neutral network기법을 사용하면 오류율을 크게 낮출 수 있다. 2012년 패러다임 전환을 이끈 심층 신경망은 알렉스넷으로, 이것은 엄청난 양의 데이터를 학습하고 조정할 가중치도 그렇게 많지 않았다. 알렉스넷은 아타리게임 신경망처럼 합성곱convolution 신경망을 사용했다. 여기에는 다섯 개의 합성곱 레이어와 그 뒤에 있는 세 개의 완전 연결 레이어로 구성된다. 입력 레이어는 이미지의 RGB값을 나타내고, 출력 레이어는 신경망이 예측하는 1000개 범주 각각을 나타내는 뉴런 1000개를 갖고 있었다. 합성곱 레이어의 출력은 백사장의 지도 묶음과 같으며 각 필터는 탐색 결과로 지도를 한 장씩 갖게 된다. 알렉스넷은 첫 번째 레이어에서 수백 개의 필터를 사용했는데, 이는 다시 말해 수백 개의 감지기를 갖고 있다는 의미가 된다. 많은 연구자가 이 필터를 경계선 검출기 edge detector라고 부르는데, 필터는 입력된 이미지에서 경계선이나 단순한 패턴으로 찾아내기 때문이다. 알렉스넷의 나머지 네 개의 합성곱 레이어는 각자 수백 개 이상의 필터를 갖고 있다. 신경망에서 더 깊숙한 레이어로 들어갈수록 합성곱 필터에 감지되는 구조는 점점 더 복잡해진다. 신경망의 출력은 이미지넷 대회에서 제공한 1000개의 범주에 대응하는 1000개의 뉴런을 갖고 있다. 알렉스넷은 이들 범주에 대응하는 패턴을 포함하는 이미지가 있으면 해당 뉴런에 불을 밝히도록 학습되었다.
심층신경망이란 무엇일까? 이 신경망의 레이어는 굳이 이렇게 깊을 이유가 있을까? 넓은 레이어 대신 깊은 레이어를 사용하라고 권하는 이론적인 근거가 있다. 그렇게 하면 복잡한 함수를 좀 더 효율적으로 표현할 수 있기 때문이다. 그에 따라 학습시킬 가중치의 수도 줄어들게 된다. 신경망 연구자들은 합성곱 레이어의 강력함을 이야기하는데, 그 이유는 합성곱 레이어가 분산표현distributed representation을 사용하여 이미지를 처리하기 때문이다. 상위 단계의 합성곱 레이어는 하위 단계의 합성곱 레이어에서 가져온 특성을 이용해 (개와 같은) 객체를 구성할 수 있다. 연구자들이 더 깊은 신경망을 만들수록 성능은 계속 좋아졌다. 2013년에는 알렉스넷을 능가하는 팀들이 등장했는데 이들은 모두 딥러닝deep learning을 사용했다. 2014년 구글은 일부 측정치에서 사람의 정확도를 넘어서는 신경망을 만들었다. 2018년(이 책을 쓰는 시점)에는 이미지넷 대회에서 최고 성능을 보인 신경망의 오류율은 이제 2.3%에 불과하다. 어떻게 과적합을 피하면서 레이어를 추가할 수 있을까? 한 가지 방법은 합성곱 레이어의 뉴런을 단순하게 만드는 것이다. (뉴런은 결국 가중 평균 분류기에 불과하다) 이제는 10~20개의 심층 레이어에 가중치가 수억 개가 되는 신경망도 흔하다. 신경망을 개선할 방법 가운데 하나는 정보들이 특정 레이어를 그냥 지나쳐서 전달되도록 해서 더 나은 성능을 이끌어 내는 것이다.
알렉스넷의 제작자는 이렇게 말한다. “결국 신경망의 크기는 주로 현시점의 프로세서에 있는 메모리의 양과 우리가 학습에 사용할 수 있는 시간의 양에 의해 좌우될 것입니다. 제 신경망은 학습시키는데 5~6일이 걸립니다. 경험상 더 빠른 프로세서와 거대한 데이터가 준비된다면 신경망의 성능을 개선시킬 수 있습니다.” 신경망의 학습에는 수많은 행렬 연산이 포함된다. 컴퓨터 게임은 고품질 그래픽을 만들어 내기 위해 같은 유형의 연산을 계속 수행해야 하므로 그래픽 카드는 지난 몇십 년간 이런 연산에 최적화되도록 발전했다. 그래서 딥 러닝 연구자들은 그래픽 카드를 사용해서 신경망의 학습 속도를 10~50배까지 빠르게 할 수 있었다. (*그래픽 카드 제조사인 엔비디아NVIDIA는 2015년 20$이던 주가가 2018년 242$까지 뛰어올랐다. 또한 구글 연산용 그래픽 칩 Tensor은 계산 속도를 극적으로 향상시켰다.)
10. 심층신경망 내부구조
처음엔 심층 신경망에 대해 신비한 인상을 받았던 사람도 그 내용을 알고 나면 신비감을 덜 느끼게 된다. 활성화 함수는 정류선형유닛 rectified linear unit, ReLU라고 부르며, 2012년 알렉스넷에 쓰인 이후로 다양한 신경망에 활용되고 있다. ReLU는 뉴런의 일력 가중평균합이 0보다 작을 경우에는 0을 출력하고 0보다 클 경우에는 합의 값을 그대로 사용한다. 중요한 점은, 이 입력의 작은 영역에서는 신경망이 단일 레이어를 가진 신경망처럼 작동한다는 것이다. 즉, 하나의 신경망을 단일 레이어 신경망의 모음(합쳐진 상태에서 학습 데이터를 받아들일 수 있는)처럼 사용할 수 있다. 고작 60개의 뉴런이 있는 ReLU신경망의 경우 뉴런을 켜고 끌 수 있는 모든 방법의 수(즉 신경망 안에 숨길 수 있는 단일 레이어 신경망의 수)는 지구 사막과 해변 모래 알갱이의 수를 모두 합친 숫자에 가깝다. 270개의 뉴런이 있는 신경망 조합은 현재까지 알려진 우주에 존재하는 원자의 수만큼 표현할 수 있다.
각 뉴런의 입력값은 서로 독립해서 학습된 모델들의 평균값이 된다. 이렇게 전체 신경망은 사실상 학습이 끝난 수많은 모델을 합친 것처럼 작동한다. 심층 신경망 학습기법(즉 ReLU 활성화 함수, 학습하면서 임의의 뉴런 억제, 많은 양의 학습데이터, 넓은 레이어 대신 깊은 레이어 사용, 합성곱 레이어 사용 등)의 조합은 사람처럼 또는 그 이상으로 이미지를 잘 분류할 수 있는 신경망을 만드는 데 중요한 요소가 되었다. 이미지에서 객체를 식별하는 데 신경망이 사람보다 뛰어난 것은 사실이지만 여기에는 여러 변수가 있다. 한 개의 신경망은 특정한 범주를 인식하는 능력 면에서 인간을 능가하지만 자신이 학습한 좁은 범위에서 우위를 갖는다. 신경망은 대부분 한정된 유형의 대상만 정확히 식별할 수 있다. 또한 신경망에 약점은 있다. 인간을 능가하는 알고리즘도 이미지에서 객체를 식별할 때는 사람이라면 하지 않을 실수를 저지른다. 이런 현상은 신경망이 이미지를 사람과는 다른 방식으로 해석하기 때문에 생긴다.
신경망 학습 알고리즘은 신경망의 말단에 있는 개 뉴런이 얼마나 부정확한지에 따라 자신의 가중치를 조정한다. 만약에 이미지를 잘 인식하기 위해 신경망의 가중치를 조정하는 대신 신경망에 더 잘 들어맞게 이미지를 변형하면 어떨까? 이렇게 이미지의 픽셀을 조금식 반복해서 변형한다면 처음에 개가 사진에 존재하지 않았어도 실제로 나타나기 시작할 것이다. 연구자들이 발견한 것은 신경망이 덤벨을 구별하기 위해서 학습한 주요 특성에는 덤벨 그 자체뿐만 아니라 덤벨이 존재하는 맥락도 포함했다는 사실이다. 딥 드림을 만든 구글AI의 엔지니어는 이야기한다. “우리는 신경망을 통해 재생산하려는 특성을 정확하게 선택하는 대신 이 선택조차도 신경망에게 맡겼습니다. 신경망이 스스로 감지한 대상을 강화하도록 해서, 낮은 수준의 레이어는 붓의 자국stroke이나 간단한 무늬를 생성하도록 하면서 기본 특성에 민감하게 반응하며, 높은 수준의 레이어는 복잡한 특성이나 대상 전체가 드러나는emerge 경향을 갖게 됩니다.”
신경망은 단순히 스타일 이미지와 변형할 이미지를 처리하여 각각의 뉴런이 예측한 대로 활성화되도록 하며, 그런 다음 알고리즘은 미리 정의된 수학 함수에 최적화되도록 원본 이미지를 조정하여 스타일 이미지에서 서로 연관성이 있는 뉴런들이 원본 이미지에서 같은 방식으로 활성화되도록 이미지를 변형시킨다. 신경망이 잘 작동하는 이유는 막대한 데이터가 존재하기 때문이다. 하지만 다른 매체를 처리하기 위해서는 새로운 심층 신경망 도구(합성곱 필터와 닮았지만 시계열 데이터를 다룰 수 있는 것)을 도입해야 한다.
PART IV. 세상과 소통하는 인공지능
*언제쯤 인공지능이 언어를 이해하고 문맥을 파악해서 문제에 적합한 답을 할 수 있을까? 왓슨이 DeepQA시스템을 활용해서 제퍼디를 정복한 접근법을 살펴보자.
11. 듣고 말하고 기억하는 신경망
시각 형태가 아닌 다른 방식으로 세계와 상호 작용하는 방법을 살펴보기 전에, 컴퓨터 프로그램이 사람의 음성을 이해한다는 것이 무엇을 뜻하는지 알아보자. 음성언어를 문자화 하려는 신경망은 어디에서부터 시작해야 할까? 웹 검색 분야의 거대 기업인 바이두가 만든 음성인식시스템을 살펴보자. 구글의 신경망이 대규모 데이터를 토대로 이미지 분류에서 인간과 경쟁할 정도의 결과물을 만들었던 것처럼, 바이두도 대규모 데이터를 토대로 이런 일을 해낼 수 있었다. 알렉스넷의 제작자가 이미지넷의 데이터를 변조해서 학습에 활용했던 것과 마찬가지로 바이두는 음성 데이터를 변조하여 학습 데이터를 보강했다. 음성을 정확하게 문자화하는 신경망을 만드는 일은 대량의 데이터만 있다고 해서 가능한 일은 아니다. 적절한 신경망 구조를 선택하는 일이 필요하다. 녹음된 소리의 스펙트로그램에서 x축은 시간, y축은 주파수, 흑백의 픽셀은 특정 시간의 특정 주파수의 세기를 나타낸다. 녹음된 소리를 부호화할 수 있다는 것은 스펙트로그램을 신경망에 입력할 수 있다는 뜻이다. 이를 처리하는 신경망에 합성곱 레이어를 사용해야 할까? 그렇다. 하지만 좀 다른 합성곱 레이어가 필요한데 이는 신경망에서 시간을 처리할 방법이 필요하기 때문이다.
순환신경망 recurrent neutral network, RNN은 동일한 뉴런 유닛을 묶어서 입력을 차례대로 전달하는 신경망이다. RNN은 각각의 RNN유닛이 자신의 출력값을 자신과 동일한 가중치를 가진 바로 다음 RNN유닛에 입력값으로 전달한다. 각 유닛은 상태변수h를 갖고 있으며 이 값은 각 유닛을 통과하면서 전이된다. 전이는 입력x와 유닛의 직전 상태로 정의된다. 각 유닛은 출력y를 생성하여 신경망의 나머지 부분과 상태에 대한 정보를 공유한다. 유닛 내에서 일어나는 변환은 보통 신경망의 뉴런들에 의한 부호화를 의미한다. RNN의 상태표현 방식은 유연한데(상태의 개수가 고정된 이산형이 아니라 연속된 값을 가지기 때문에 유연하다고 표현한 것), 이 숫자는 다차원 공간의 점 같은 것으로, 이 점의 위치는 상태의 의미semantics로 정의되는 공간 내에 존재하게 된다. 각각의 RNN유닛은 매우 단순해서 자신의 가중치값을 저장하고 변경하는 일밖에 할 수 없다. RNN유닛은 그저 상태 변경기일 뿐이다.
신경망의 학습은 녹음된 사람의 음성에 대한 대본과 CTC, connectionist temporal classification연결주의자시점 분류라는 개념을 사용해서 이뤄진다. CTC는 단어와 완전 연결 레이어 간의 정렬 방법을 찾는다. (*연결주의자 : 연결주의를 따르는 기계 학습연구자. 이들은 인공지능이나 인지과학, 뇌과학 등을 연구할 때 단순한 유닛들의 상호연결 망으로 보고, 이것이 행동으로 드러난 것을 모델링하는 방식을 추구한다) 신경망의 출력 레이어는 시간의 흐름을 나타내는 축과 알파벳 글자(그리고 글자사이의 간격)을 나타내는 축으로 이루어진 격자형태의 뉴런이다. 단순히 일련의 문자열을 예측하는 작업일 경우, 매 순간 나타날 확률이 높은 글자로 이루어진 단어를 생성한 다음 중복을 제거하는 방식을 쓴다. 예를 들면 아래 문장과 같이 단어가 나열되는 순서에 대한 통계를 사용하면 결과를 바로잡을 수 있다. “Arther n tickets for the game”은 “Are there any tickets for the game? 텍스트에서 등장하는 빈도를 기준으로 자연스러워 보이는 최대 다섯 개까지의 단어로 구성된 구문을 수집해서, 단어의 나열 순서에 대한 통계를 사용하면 구성할 수 있는 텍스트의 경우의 수를 크게 줄일 수 있다.
음성인식시스템은 녹음된 음성을 정확히 문자로 필사할 수 있지만 그 내용까지 이해하지는 못한다. 아직 언어를 이해할 수 있는 신경망까지는 갈 길이 멀지만 내용을 자연스러운 구문으로 설명하는 신경망을 만들 수는 있다. RNN유닛의 각각의 출력값은 단어들의 확률분포를 나타내며, 각 유닛의 입력은 이전에 생성된 단어이다. 첫 번째 유닛의 입력은 합성곱 신경망의 출력이다. 신경망의 출력 레이어에는 각 시간 단위와 단어와 단어별로 하나의 뉴런이 할당되어 있다. 신경망의 출력값은 합쳐져서 각 단어가 문장에서 다음 단어로 나타날 확률을 예측한다. 신경망 모델을 실행한 뒤 매번 확률이 높은 단어를 고르는 반면에 검색 알고리즘은 몇 번이고 모델을 실행시키면서 구문을 생성한다. 신경망은 매번 단어를 선택해야 할 때 모델을 기반으로 가능성이 큰 단어를 고르지만 검색 알고리즘은 가장 가능성이 큰 문장을 한정해서 검색한다.
RNN신경망은 시간의 흐름에 따라 작동하는 심층신경망이다. 하지만 메시지가 학습과정에서 손실되는 경향이 있어서 RNN을 깊게 구성할 수 없었다. 이를 피하기 위해서 발견한 방법이 유닛이 상태를 해석하고 변경하는 방식으로 통제하는 제어뉴런control neuron이다. 이와 관련된 알고리즘은 아직 초보수준에 머물고 있으며 알고리즘을 속이기 위해 만들어진 입력값에 취약하다. 기계 학습모델을 속일 목적으로 만든 입력데이터를 우리는 적대적 데이터 adversarial data라고 부른다. 이때 이미지 생성기가 실제 이미지처럼 보이는 이미지를 만들어 낼 때까지 계속 개선하려는 시도로써 두 개의 신경망을 구성해서 신경망이 서로 경쟁하도록 하는 신경망을 도입하는 이유는, 특정 목적의 데이터를 생성하는 데 유용하기 때문이다. (*GAN, generative adversarial network 생성적 적대적 신경망 : 두 개의 신경망이 서로 경쟁하는 구조) 그럼에도 불구하고 자연어를 이해하는 프로그램을 만드는 일은 쉽지 않다. 이미지 생성 알고리즘은 이미지를 설명하는 짧은 문장을 생성할 수는 있지만 자세히 살펴보면 곧 한계가 드러난다. 다음에 살펴볼 왓슨은 사실 질문을 이해하도록 설계된 것이 아니다. 왓슨은 질문에 답하도록 설계된 것이다. (1:1대응 신속한 연산 + 대규모 자료)
12. 자연어 그리고 문제의 이해
오스틴에 있는 텍사스 대학의 대학원생 제임스 펜은 서배스천 스런의 자율주행차 스탠리에 대한 프리젠테이션을 보고 감명을 받는다. 그는 당시 컴퓨터 과학의 질의 응답question answering분야를 연구하고 있었다. 이제부터 왓슨이 어떻게 인간을 물리칠 수 있었는지 살펴보자. 왓슨은 단서에서 어떤 것이 실제 문제인지 어떻게 알아냈을까? 왓슨은 사실을 수집한 데이터베이스를 저장할 4테라바이트짜리 디스크를 내장하고 있었다. 어떤 사실은 데이터베이스에 저장될 수 있으며, 사람, 장소, 사물이 서로 연결된 관계relation로 구성된다. 이런 관계 데이터끼리 조합할 수 있는 수는 무한에 가깝다. 왓슨이 제퍼디 문제를 풀려면 수백만 건의 관계 데이터만으로는 부족했다. 왓슨의 연구자들도 단서로부터 나올 수 있는 모든 경우의 수를 대비한 관계 데이터를 저장해둘 수는 없었다. 또 다른 문제는 제퍼디의 단서가 다양한 형태의 문장으로 제시된다는 점이었다. 단순한 답변을 검색할 수 있는 문제는 2%에 불과했다. 그렇다면 왓슨은 나머지 98%의 단서를 어떻게 찾아내서 답했을까? 바로 단서를 체계적으로 분석하고 중요한 정보를 세세하게 걸러내는 방법이었다. 그들은 다양한 문제에 답을 할 수 있어야할 뿐만 아니라 답의 정확성도 끌어올려야 했다.
이미 IBM에서 만들었던 질의응답시스템이 있었다. IMB 연구원 4명이 6년에 걸쳐 만들어낸 것이었다. 그동안 방영된 제퍼디의 문제와 답을 수집해 놓은 웹 사이트를 만들고, 여기에서 문제에 대한 상세한 정보를 찾을 수 있었다. 그들은 새로운 시스템에 DeepQA라는 이름을 붙이고 다른 질의 응답시스템과 마찬가지로 명확한 단계를 거쳐 해답에 도달하는 방식을 사용했다. 제일 먼저 단서가 시사하는 대상을 요약한 문구에 초점을 맞췄다. 왓슨은 초점을 찾아냄으로써 답변 후보를 골라 점수를 매길 때 이 정보를 활용할 수 있었다. 다음 단계에서 왓슨이 답변 유형에 대한 정보를 저장해 두었다가 그 이후에 답변 후보를 선별하고, 답변의 범위를 좁히는 데 사용했다. 만약 왓슨이 초점을 찾아낼 수만 있다면 답변 유형을 찾아낼 확률도 높아진다.
현대의 오토마타가 세계와 소통하는 가장 중요한 방법은 인지perception이다. 자율주행차는 레이저 스캐너, 카메라, 가속도계 등을 사용해 세계 모델을 만들었다. 자율주행차는 레이저 스캐너, 가속도계 등을 사용해서 세계 모델을 만들었다면, 왓슨은 단서를 텍스트 파일 형식으로 전달받았다. 컴퓨터는 파싱parsing(컴퓨터에서 데이터를 의미가 있는 단위로 나누어 처리하는 방식으로 여기서는 영어문장을 단어단위로 나누는 과정을 의미한다)이라는 과정을 거쳐서 문장 구조도를 작성한다. 왓슨의 파서는 문장의 단어들을 문법에 맞게 트리 형태로 구성하는 최적의 경로를 찾기 위해 탐색 알고리즘을 사용한다. 오늘날의 파서는 단어 간의 관계와 문장 요소에 대한 통계를 사용해서 가장 적절한 파스 트리를 찾아낸다.
그렇지만 언어에서의 모호함은 일상적인 생활에서 늘 일어난다. 그래서 어떤 문장이 옳은 것인지 그렇지 않
은 것인지 컴퓨터에서 판단할 방법이 없다. 하지만 앞에서 언급했듯이 오늘날의 파서는 단어와 문장 요소의 통계 데이터와 문장의 구성 방법을 이용한 확률 데이터로 컴퓨터는 옳은 파스 트리를 충분히 찾아낼 수 있다. 프로그래머는 문제를 보지 않고 어떻게 문장을 해석할 수 있는 걸까? 여러 상황에 대한 인간의 지식을 부호화해서 저장하고 컴퓨터가 스스로 문장 구조도를 탐색해서 얻은 단서를 통해 의미있는 정보를 추출하도록 프로그램에 다양한 규칙을 넣는 방법으로 그것이 가능하다. 왓슨은 파스 트리를 사용해서 단서의 초점을 찾아낸다. 그리고 문제가 정확히 무엇을 묻고 있는지 판단한다. 왓슨은 강박증이 있는 정리 전문가처럼 문장에서 무엇을 발견했는지 따져보고 정보의 파편에 이름을 붙여 저장소에 보관한다. 왓슨은 이 단계에서는 맹목적으로 단서를 처리할 뿐이고, 나머지 단계에서 추가 작업이 이뤄진다.
13. 제퍼디의 답 마이닝하기
자신의 기존 가설을 폐기하고 처음부터 다시 시작하기로 한 다음 그들은 DeepQA라는 시스템을 구축했다. 첫 단계는 문제 분석으로 인물, 장소 등의 대상에 대한 (1)정보를 수집하고, 단서에서 묻고 있는 (2)답변 유형을 알아내고, 이런 정보 조각에 이름을 붙여 저장한 다음 다른 단계에서 (3)이 정보를 활용하는 방식이었다. 왓슨은 인간이 하는 방식으로 답을 찾지 않는다. 대신 문제 하나하나를 대규모 연구 프로젝트로 간주한다. 이것은 채용조건에 맞는 사람을 채용하는 과정과 아주 비슷하다. 먼저 후보 목록을 작성 candidate generation하는 단계를 거치는데, 답변 후보 목록을 만드는 목적은 정답을 선별하는 것이 아니라 정답으로 고려할 만한 답변 후보를 수집하는 데 있다.
왓슨은 그처럼 엄청난 데이터에서 어떻게 몇 초 만에 정답을 찾아낼 수 있을까? 왓슨은 대규모 텍스트 문서를 검색하는 것처럼 검색 엔진을 사용한다. 후보 생성 단계의 작업을 하다 보니 놀랍게도 제퍼디 정답의 95%가 위키피디아 항목의 제목에 포함되어 있다는 사실을 프로젝트팀은 알게 되었다. 이것을 활용하기 위해서 왓슨은 수백 개의 답변 후보가 담긴 목록을 작성한 다음 어느 것이 정답인지 알아내는 과정을 거쳐야 했다. 가벼운 필터로 우선 답변 후보 목록의 범위를 좁혀야 한다. 이것을 통과한 답변 후보는 증거수집evidence retrieval 단계로 넘어가고 왓슨은 각 답변 후보에 대한 증거를 수집한다. 왓슨은 증거 수집 단계를 마치고 다음 단계로 넘어가기 전까지는 답변 후보에 대해 어떤 판단도 내리지 않고 다음 단계를 위한 증거들의 점수를 매긴다. 여기에 쓰이는 채첨기scorer 알고리즘은 답변 후보의 증거를 구성하는 각 정보가 단서에 얼마나 잘 들어맞는지를 평가하는데, 그들은 희소한 단어일수록 더 큰 가중치를 부여했다. 왓슨이 사용하는 채점기의 목록은 점점 길어져서 총 100개가 넘었다. 왓슨은 최종 단계인 집계와 순위 결정aggregation and ranking단계에서 최종 판단을 내렸다.
왓슨은 분류기를 사용했지만, 먼저 점수를 매긴 스프레드시트를 적절한 형식의 데이터로 변환해야만 했다. 여러 측면에서 답변 후보 목록은 다루기 어려운 데이터였다. 가중 평균 분류기에 입력하는 데이터는 특성이 같아야 하는데, 왓슨이 분류하는 답변 후보는 서로 다른 데이터이기 때문이다. 각각 다른 분류기를 사용하는 일곱 개의 레이어로 그들은 데이터를 처리했다. 각 레이어는 병합, 변환과 필터, 선형분류기(문제 유형별로 다른 분류기를 사용)하는 작업으로 이루어진다. 이때 왓슨은 처리 과정에서 중복된 답변 후보와 그 근거 데이터를 하나로 합쳤다. 왓슨이 각 레이어에 밀어 넣는 방식은 모두 동일하다. (1)근거 데이터의 병합 (2)이 레이어에 필요한 고유의 작업(특성 조작이나 답변후보 필터링)수행 (3)다음 단계를 위해 답변 후보의 점수를 다시 매기는 분류작업. 이 변환작업의 결과는 각각 신뢰도 점수가 매겨진 최종 정답 목록이다. 왓슨은 이 목록에서 가장 높은 점수를 얻은 답변 후보를 정답으로 최종 선택하게 된다.
왓슨은 거대한 시스템이다. 복잡함 때문에 시스템의 최적화tuning도 느리고 어려웠다. 다행히 왓슨은 내부의 여러 단계를 병렬로 실행하도록 설계되었기 때문에 개별적으로 하나하나 조사하는 대신, 작업을 여러 CUP에 할당하는 방식으로 여러 답변 후보를 동시에 조사할 수 있었다. 2880개에 달하는 CPU 분산작업으로 정답 시간을 5초 이내로 유지할 수 있었다. 이 시스템 구축에 연구원 25명이 4년을 매달렸다. 사실상 DeepQA는 딥 러닝(심층학습)과는 아무런 관련이 없다. 하지만 DeepQA의 강점은 핵심 설계 원칙인 다양한 방식을 조합하는 데서 나오는데, 다른 기계들과 마찬가지로 최소한 인간의 지성과 비교하는 것이라면 왓슨이 지성을 가졌다고 할 수는 없다. 왓슨이 첫 번째로 하는 일은 사람이 만든 다양한 규칙을 기반에 두고 단서를 분석하는 것이다. 그런 다음 왓슨은 이 정보 조각을 사용해서 검색엔진에서 답변 후보를 검색한다. 그러면 답변 후보 목록이 만들어지고 이 답변 후보를 필터링하여 수를 줄인 후 각 답변 후보가 정답일 가능성을 뒷받침하는 근거 정보를 검색한다. 이렇게 수집한 근거 정보에 점수를 매기고, 마지막으로 일련의 변환과 분류 과정을 통해 가장 근접한 답변 후보를 선택하는 것이다.
PART V. 게임과 인공지능
바둑, 스타크래프트 같은 전략 게임은 경우의 수가 많아 인공 지능으로 판단하기란 거의 불가능하다. 하지만 알파고는 수많은 경우의 수를 효율적으로 탐색하는 방법을 적용하여 세계 챔피언 이세돌을 이겼으며, 알파스타 역시 더 복잡한 전략 게임인 스타크래프트에서도 성과를 거두었다. 이제 인공지능은 복잡한 실제 세계의 문제에 적용할 단계에 접어 들었을까?
14. 무차별 탐색 Brute-force search로 좋은 전략 찾기
체스를 두는 컴퓨터를 만들 때 사람 편에 서서 좋은 전략을 설계하는 방식은 권장할 수 없습니다. 그보다는 컴퓨터 능력과 약점에 맞는 방식을 써야 합니다. 컴퓨터는 빠르고 정확하지만 인지능력이 떨어지는 한계를 가지고 있습니다. 그러므로 사람과 달리 컴퓨터는 무식한 계산 방법을 사용해야 합니다. (클로드 섀넌, 정보이론 수학자)
오늘날의 컴퓨터도 여전히 기계로 만들었던 예산의 오토마타처럼 프로그램에 따라 작업을 수행할 뿐이다. 이런 오토마타의 주요 성능은 게임이 어떻게 진행될지 예측하는 데 필요한 일종의 통찰력에 달려 있다. 스도쿠 문제를 푸는 컴퓨터 프로그램은 빈칸을 모두 채운 정답을 발견할 때까지 답을 탐색하는 과정을 반복한다. 그래서 먼저 다양한 조합을 탐색하고, 변화를 주면서 생기는 상태변화는 서로 연결된 트리구조로 이해할 수 있다. 이런 트리를 탐색하는 컴퓨터 알고리즘은 똑똑한 의사 결정을 내릴 필요가 없다. 단지 트리를 일정방식으로 순회traverse(트리의 각 가지를 아래 방향으로 차례로 방문하는 것)하기만 하면 된다. 일단 컴퓨터가 모든 상태를 탐색하면 미리 정해진 알고리즘을 따라 컴퓨터는 그저 작동할 뿐이다. 검색트리에서 절대 답이 되지 않을 만한 분기branch를 안다면, 미리 가지치기pruning함으로써 시간을 단축해서 문제를 해결할 수도 있다.
이런 문제풀이 과정을 흥미롭게 만드는 요소는 불확실성이다. 스도쿠 게임과 달리 게임에 임의성이 개입되거나(주사위 게임) 플레이어가 한 명이 상일 때(체스게임) 불확실성은 그 모습을 드러낸다. 어떤 전략을 택하든 여기서 눈여겨볼 점은 마지막 결과에서부터 시작해 거꾸로 경로를 따라 시작 지점까지 살펴봐야 한다는 점이다. 트리의 수준은 각각 플레이어가 선택할 수 있는 행동 가지수를 나타내며, 마지막 단계에서 승리와 패배를 알아낼 수 있다. 알고리즘은 한 수준 위로 올라가서 상대방이 둘 수를 예측하고 이번에도 승리할 수 있는 수가 있다면 그 수를 둔다. 체스 고수는 체스 게임을 할 때 30~40사이의 분기계수를 보여주며 한 게임당 평균 40개의 수를 둔다. 체스 게임을 검색트리로 표현하면 분기 가지치기 없이는 탐색할 수 없을 정도로 검색트리의 크기가 커진다. 탐색해야 할 경우의 수는 1뒤에 0이 59개가 붙는 숫자를 가뿐히 넘어선다. 컴퓨터는 이정도로 깊은 검색트리가 만들어내는 모든 경우의 수를 해결할 수 없다. 그러므로 이 검색트리에서 분기 가지치기를 할 수 있는 다른 방법을 찾아야 컴퓨터로 체스문제를 해결할 수 있다.
*섀넌(1916~2001, 수학자이자 전기공학자)의 정보이론 information theory : 그는 그의 책 “A Mathematical Theory of Communications”에서 max-min개념을 도입해서 최악의 경우의 최대손실을 줄이는 것에 대한 이론을 만들었다. 정보에 대한 섀넌의 직관은 메시지의 예외성에 바탕을 두고 있다. ‘야옹거리며 우는 고양이가 있다’는 문장에는 정보가 별로 존재하지 않는다. 대부분의 고양이는 그런 소리를 내기 때문이다. 하지만 ‘짖는 고양이가 있다’라는 문장에는 많은 정보가 들어 있다. 고양이는 대부분 짖지 않기 때문이다. 섀넌은 자신의 직관을 정보이해를 위한 프레임워크로 구현했다. 그 핵심은 불확실성을 제거함으로써 경우의 수를 줄이고, 계산시간을 단축시키는 것이다. 1949년 그가 체스를 두는 컴퓨터 프로그램을 만드는 법에 대한 학술 논문은 주목받지 못했다. 하지만 컴퓨터가 발달하기 전에 이미 그는 체스를 두는 알고리즘에 대한 단순하면서도 심오한 아이디어를 제시했다. 그의 핵심 아이디어는 평가함수였다.
대부분의 평가함수는 근사치를 구한다. 섀넌이 설명했듯이 체스를 위한 컴퓨터의 평가함수는 각 말에 명시적인 가중치를 할당할 수 있다. 이 가중치를 사용해서 체스 판에서 말의 가치를 계산하고, 여기에 나열한 숫자는 임의의 숫자이지만(아마도 틀린 값이겠지만) 직관적인 값이다. IBM이 만든 강력한 체스 플레이 시스템인 딥블루는 평가함수를 사용했으면, 특성은 8000개가 넘었다. 대다수의 특성은 자체특성material feature와 위치특성 positional feature으로 구성되며, 어떤 말이 어디에 있는지를 나타낸다. 실전에서 평가함수를 어떻게 사용할 수 있을까? 한가지 접근 방법은 검색트리에서 고정된 깊이를 탐색하고 그 깊이까지 각 게임의 상태를 평가함수로 계산한 다음, 그 결과를 게임의 결말을 예상하는 데 사용하는 것이다. 체스의 경우 40단계 깊이의 트리를 탐색하지 않아도 된다. 6단계나 12단계의 깊이까지 탐색한 뒤 평가함수를 사용해도 어떤 상태가 가장 이길 확률이 높을지 판단할 수 있기 때문이다.
상대방이 항상 최선의 수를 둔다고 가정하므로 현재 상태를 평가하는 검색 트리에서 이미 찾은 수보다 나쁜 결과가 나올 것으로 예상되면 해당 분기의 탐색을 중단할 수 있다. 최상위 레이어에만 국한되지 않으면 트리의 어떤 깊이에도 이런 방식을 적용할 수 있다. 이것은 우선순위를 조정하지 않더라도 충분히 효율적이며, IBM 딥블루가 사용한 방법이기도 하다.
15. 알파고는 어떻게 완성되었을까?
“단순히 시스템을 확장하고 빠른 프로세서를 사용하는 현재 기술만으로는 충분하지 않습니다. 알고리즘에서 획기적인 아이디어 한두 개가 나와야 가능한 일이죠.” (마틴 뮐러, 앨버타대학 컴퓨터학과 교수)
알파고는 검색트리를 어떻게 순회하는 것일까? 알파고는 대국에서 수를 둘 때마다 현재의 바둑판 상태로부터 수많은 가상 대국을 만들어 낸다. 알파고는 메모리에 생성된 가상 대국을 마주하면서 이 대국이 끝날 때까지 검색트리에서 하나의 경로를 계속 파고든다. 이 가상 대국을 치르고 나면 프로그램은 자신이 이겼는지 졌는지 알게 된다. 프로그램이 만들어낸 대국이 실제로 일어날 법한 대국이 아니라고 해도 상관없다. 중요한 것은 알파고가 이를 수천 번 반복해서 어떤 수를 둬야 하는지 직관을 얻는 것이다. 여기에 50개의 레이어가 있다고 가정해 보자. 분기 계수는 2이므로 트리의 밑바닥에 존재하는 경우의 수는 1000조개에 이른다. (실제 바둑의 검색트리는 이보다도 한참 더 크다) 알파고에서 까다로운 부분은 현실적으로 대국을 재연하는 것이다. 알파고는 어떤 수를 둘지를 예측해야 한다. 그저 수를 무작위로 둘 수는 없다. 알파고에게 필요한 것은 프로기사가 둘 법한 수를 예측하는 것이다. 대국을 시뮬레이션해야 할 때마다 알파고는 바둑판에 가상의 돌을 놓아가며 대국이 어떻게 흘러갈지, 각자 어떤 수를 둘지 차례대로 예측했다. 수 예측 신경망은 여러 개의 합성곱 레이어를 사용하며, 바둑에 최적화된 논리를 많이 보유하고 있다. 알파고의 신경망이 13개의 레이어로 되어 있었는데, 이것은 아타리 게임 신경망의 거의 세 배 깊이이다. 수 예측 신경망은 출력 레이어를 제외하면 모든 히든 레이어가 합성곱 레이어였다. 합성곱 레이어는 선행 레이어의 작은 뉴런 조각들 위에서 실행되는 단순한 패턴 매칭 분류기(필터)의 모음으로 되어 있는데, 이런 필터는 마법의 대상 검출기로 이전 레이어로부터 흥미로운 패턴을 식별할 수 있다. 패턴은 신경망에서 무언가를 예측할 때 유용하다. 이들 합성곱 레이어는 입력평면에서 뭔가 흥미로운 일이 일어나는 것을 감지했다. 알파고의 수예측 신경망은 플레이어가 할 수 있는 행동의 모든 경우의 수에 대한 확률분포probability distribution을 생성한다. 그러나 알파고는 여전히 상대방이 어떤 수를 둘지 모른다는 불확실성을 안고 있었다. 하지만 알파고의 예측이 정확해질 수록 수 예측 신경망은 실용성을 의심해야 할 정도로 느려졌다. 몇 시간을 아득히 넘기곤 했다. 이는 실제 대국을 할 수 없을 정도로 매우 느린 속도였다. 그래서 알파고는 수 예측 신경망의 속도와 정확성의 한계를 넘어서기 위해 이 알고리즘의 변형된 버전을 사용해야 했다.
MCTS, Monte Carlos tree search(몬테카를로 트리탐색 : 무작위 값을 이용해 함수의 값을 확률로 계산하는 검색) 알고리즘은 컴퓨터 바둑의 패러다임 전환을 이끌어 냈다. 여기에는 느린 롤아웃단계(느린 수 예측 신경망으로 상대방이 미래에 둘 수의 확률을 찾은 다음 어떤 수를 둘지 가중치 주사위를 굴리는 것)과 현재 판의 상태를 판단하는 단계가 있다. 알파고가 현재 판의 진행상황에서 승리할 확률을 예측하는 신경망의 평가함수로 현재판을 평가하는 것과 동시에 알파고는 빠른 롤아웃을 통해 이후 대국을 시뮬레이션 한다. (알파고가 시뮬레이션을 더 많이 할수록 트리 상단의 통계 데이터의 신뢰성은 올라가고, 느린 롤아웃 단계에서 둘 수 있는 수의 범위에 더 좋은 수가 포함될 확률이 높아진다) 임의의 수를 두는 방식이 실제로는 잘 작동하지 않는다는 것을 알아낸 연구팀은, 빠른 수 예측 신경망은 느린 수 예측 신경망의 경량화 버전으로 만들어 냈다. 둘 다 동일한 구조였지만, 계산하는 데 시간이 걸리는 몇 가지 입력 특성을 생략함으로써 알파고의 속도 문제를 해결했다. 하지만 알파고가 다음 수를 선택하는 방식에 도사린 버그는 여전히 해결할 수 없었다. 이 버그는 다음 수를 선택하는 방식을 변경함으로써 해결되었다. 알파고는 학습한 좋은 수에 기반을 둔 느린 롤아웃 단계에서 나오는 수를 선택하게 되고, 알파고의 수 예측 신경망이 특정한 상황에서 계속 악수를 둔다고 하더라도 결국 알파고는 이 방식으로 최적의 수를 배울 수 있다. 알파고는 게임에서 승리할 확률이 높은 시뮬레이션에서 나온 수를 선택하는 경향이 있으므로, 이렇게 둔 수는 수준이 높은 데다 알파고가 속속들이 이해한 수일 확률이 높았다.
탐색과 활용 exploration and exploitation의 트레이드오프trade-0ff(두개의 목표 가운데 하나를 달성하려고 하면, 다른 목표의 달성이 힘들어지는 관계)는 잘 알려져 있다. MCTS는 이 트레이드오프 사이에서 세밀하게 균형을 잡는 방법을 통해 이런 한계를 넘을 수 있었다. MCTS에서 임의의 롤아웃방식(최우선 프로그램이 현재 처리되고 있는 프로그램보다 우선적으로 처리되도록 하는 것)이 잘 작동하는 이유는 검색 트리 상단의 통계 결과를 활용할 수 있기 때문이다. MCTS가 내리는 중요한 결정에는 에이전트가 빠른 롤아웃 정책을 사용하는 시점과 이 시점 전에 자신의 행동을 어떻게 샘플링 할 것인지가 포함되어 있다. 알파고가 지금까지 수집한 승패관련 통계를 사용해서 검색 트리 상단에서 느린 롤아웃 단계에 있는 동안 자신이 둘 수를 조정한다는 점이 중요하다. 알고리즘이 검색 트리에서 특정 경로가 유리하다는 근거를 많이 모을수록 해당 경로를 더 깊이 탐색할 수 있다. 알파고는 일어날 가능성이 큰 일련의 움직임을 발견했을 때 이런 단수확장을 유동적으로 학습했다. 알파고는 느린 수 예측 신경망으로 더욱 지능적으로 수를 선택하고, 이들 수는 고품질 평가함수를 통해 평가되므로, 알파고는 인간이 바둑을 두는 방법에 가까운 접근 방식을 만들 수 있었다.
빠르지만 완전한 무작위적인 롤아웃을 사용해야 할까? 그냥 평가함수 신경망을 사용해야 할까? 그들은 무작위 롤아웃이 그다지 효과적이지 않다는 것과 알파고가 50:50 비율로 평가 함수 신경망(전체적인 대국전망)과 빠른 수 예측 신경망(부분적인 대국전망)을 사용했을 때 가장 좋은 성능을 보인다는 사실을 알게 되었다. 어떻게 이런 진보가 가능했을까? 한 가지 요인은 지난 몇 년간 합성곱 신경망에서 이루어진 개선점(레이어 간의 지름길 연결을 추가하고, 신경망을 학습하는 방법을 개선하는 등) 몇 가지를 통합한 것이었다. 알파고는 바둑이라는 매우 구체적인 작업을 위해 설계되었다. 아타리 개임과 바둑, 둘 다 검색 트리를 탐색하고 신경망을 사용해 현재 판을 평가하는 등 비슷한 원칙을 기반으로 동작한다. 이 책에 등장하는 오토마타 제작자들과 마찬가지로 알파고 제작자는 좁은 범위의 문제를 풀기 위해 알파고를 설계한 것이다. 하지만 알파고는 어디까지나 바둑을 둔다는 매우 좁은 범위의 일만 수행할 수 있었다.
16. 실시간 인공지능과 스타크래프트 봇(봇 프로그램 : 사람이 아닌 인공지능 플레이어 비디오 게임 로봇)
스타그래프트는 역사상 가장 성공한 컴퓨터 게임이다. 1998년 발매 이후 10년 동안 1000만장 넘게 팔렸으며, 그 중에서 450만장이 한국에서 판매되었고 게임 열풍이 시작되는 데 일조했다. 이 게임은 전략 시뮬레이션 게임으로 체스와 달리 실시간으로 벌어진다. 플레이어는 자신의 유닛 각각에게 넓은 전투영역에서 실시간으로 명령을 내린다. 스타크래프트를 흥미롭게 만드는 특성 가운데 하나는 플레이어가 경제적으로 자원을 관리해야 한다는 점이다. 자원 관리를 잘하고 테크 트리를 잘 쌓으면 강한 유닛을 생산할 수 있고, 그 결과 자원관리와 테크 트리를 쌓기기 쉬워진다. 또 한가지 재미난 점은, 스타크래프트에서는 처음에 지도가 안개로 가려진 상태에서 게임이 진행되는 모든 공간을 관찰할 수 없다는 것이다.
플레이어는 어떤 결정을 내릴 때 불확실성을 염두에 두어야 한다. 플레이어는 게임을 진행하는 내내 언제 어떻게 정보를 모을지 미리 생각해 둬야 한다. 바둑의 분기계수가 약 250개이지만 스타크래프트의 분기계수는 이보다 훨씬 더 많다. 그리고 스타크래프트는 바둑보다 더 많은 수를 고려해야 한다. 바둑은 프로대국기준 평균 150수를 두지만 스타크래프트는 실시간 조작을 해야 하고 총 36000회 정도 이루어진다. 이것은 바둑 대국을 한 번 치르는 데 필요한 탐색 공간의 1억 180만배에 해당한다. 문제를 더 어렵게 만드는 것은, 안개로 가려진 지도 때문에 불확실한 상태로 게임을 진행해야 한다는 점이다. 이런 이유로, 스타크래프트 게임은 제한적 정보로 전략적 결정을 내리면서 예기치 못한 상황에도 실시간으로 대응해야만 하는 고난이도 전략게임이다.
< 단순화한 스타크래프트 봇 구조 >
PART VI. 기계는 지능을 가질 수 있을까?
전문가들은 아직 우리가 생각하는 수준의 인공지능이 등장할 것이라는 확신을 하지 못하고 있다. 스스로 추론하고 판단하고 개선하는 기계는 아직 요원하기만 하다. 하지만 생각하는 기계를 향한 인간의 노력은 조금씩 더 나은 지능을 현실 세계에 등장시킬 것이다. 50년 후에는 어떤 일을 하는 오토마타가 나올까? 인공지능분야는 신경망에서의 진보와 알고리즘의 개선, 하드웨어의 눈부신 성능개선으로 엄청난 진보를 만들어내고 있다. 이것은 오랫동안 누적된 결과물이다. 유한상태기계와 순환신경망은 기계가 주변에서 무슨 일이 일어나고 있는지 (무엇을 했고, 무엇을 하고 있고, 무엇을 할지)를 추적하고 주변환경에서 가장 눈에 띄는 것에 집중할 수 있게 해주었다. 탐색 알고리즘은 수백만 개인 경우의 수에서 최상의 수를 찾을 수 있도록 도움을 준다. 또한 강화학습은 기계에게 경험을 통해 학습할 수 있는 능력을 부여했다. 이런 기계들이 모두 잘 조작되게 하려면 끊임없는 사람의 노력이 필요하다.
아마도 미래의 오토마타는 여전히 프로그램에 따라 작동할 것이다. 이 기계들의 행동은 추적할 수 있으며 각각의 행동은 기계가 결정론적인 명령을 수행한 결과일 것이다. 개인적인 믿음은 인간 또한 아날로그 기계에 불과하다는 것이며, 인간이 사고할 수 있다고 믿는다면 언젠가는 인간처럼 생각할 수 있는 디지털 컴퓨터를 설계하는 일을 막을 수는 없다는 것이다. 인간의 지능과 행동을 모방할 수 있는 기계를 만드는 노력은 인간과 기계의 구별이 어려워질 때까지(그 이상) 계속될 것이다. 그때에는 기계가 인간보다 여러 면에서 우월할 것이다. 그리고 이들 기계가 우리를 위협하리라는 것은 어느 정도 사실이다. 기계는 확실히 사람들의 일자리를 대체할 것이다. 기계가 비용이 훨씬 저렴하게 들기 때문이다.