포르쉐의 AI 델타 학습, 자율주행을 위한 최고의 방법

환경이나 센서 기술을 변화시킬 때, 오늘날 자동차의 신경망은 처음부터 다시 반복 훈련을 시작한다. AI 델타 학습 연구 프로젝트는 이런 문제들을 해결하고 관련된 부가적인 수고들을 줄이는 것이 목표다. 

정지 표지판은 빨간색, 팔각형, 중간에 STOP이라는 단어가 있는 형태를 많은 국가에서 사용하고 있다. 그러나 예외도 있다. 일본의 경우 이 표지판은 삼각형이고, 중국에서는 "STOP"을 문자로 대체하며, 알제리에서는 손을 들어 보인다.

일반적인 운전자들은 이런 차이가 있더라도 문제가 되지 않는다. 그들은 그 지역의 정지를 의미하는 표지판을 바로 인식하기 때문이다. 하지만 무인자동차의 인공지능은 그렇지 않다. 모든 차이들에 대한 정보를 완전히 익힐 때까지 교육과 훈련의 과정을 거쳐야 한다. 

이런 변화무쌍한 훈련과정은 수많은 시간이 필요하며 많은 비용이 들고 전체적으로 자율주행의 발전 속도를 늦추게 된다. 그래서 자동차 산업은 이제 자율주행 차량에 새로운 것을 선택적으로 학습하게 하는 AI 델타 학습 프로젝트를 공동으로 진행하고 있다. 

 

주요 파트너들과의 협업

 

이 프로젝트의 중요성은 독일 연방 경제 에너지부에서 자금을 지원하고 있는 프로젝트 참여자 리스트를 보면 알 수 있다. 포르쉐 엔지니어링 외에도 BMW, CARIAD, 메르세데스-벤츠, 보쉬 등 주요 제조사와 뮌헨 공대, 슈투트가르트 대학교 등 9개 대학이 참여하고 있다. 

이 프로젝트는 커넥티비티와 자율주행을 발전시키기 위한 독일 자동차 산업 협회의 대표 이니셔티브인 AI 패밀리의 일부다. 2020년 1월부터, 18개 파트너사의 약 100명의 사람들이 AI 델타 학습에 참여하고 있으며, 워크숍을 통해 전문가들은 어떤 접근 방식이 유용하고 어떤 접근 방식을 피해야 하는지에 대한 의견을 교환한다.

'정지' 기호의 예를 통해 자율주행차의 교통상황을 해석하는 모든 신경망의 근본적인 약점을 볼 수 있다. 그것들은 인간의 뇌와 구조가 비슷하지만, 많은 중요한 부분에서는 차이를 보인다. 예를 들어, 신경망은 일반적으로 하나의 대규모 트레이닝 세션에서만 한 번에 능력을 흡수할 수 있는 것 등이다.

 

도메인 변경으로 인한 막대한 노력의 필요성

 

사소한 변경도 자율주행 개발에 엄청난 노력이 필요할 수 있다. 예를 들어, 많은 자율주행 테스트 차량에는 해상도가 2메가 픽셀인 카메라가 설치되었었다. 만약 그 카메라들이 8메가 픽셀의 더 좋은 것으로 대체된다고 해도 원칙적으로 바뀌는 것은 아무것도 없다. 그저 나무가 더 많은 픽셀로 표현된다는 것 외에 나무로 인식하는 것은 변함이 없기 때문이다.

그러나, AI는 더 높은 해상도로 물체를 인식하기 위해 트래픽으로부터 다시 수백만 개의 스냅샷을 필요로 한다. 차량에 설치된 카메라 또는 레이더 센서가 약간 다른 위치에 있는 경우에도 마찬가지다. 그 이후에는 완전한 재교육이 필요하다.

전문가들은 이것을 우 핸들로 운전하는 것 대신 좌 핸들로 운전하라고 하는 것이나 밝은 햇살 대신 눈보라와 같은 의미의 '도메인 체인지'라고 부른다. 운전자들은 보통 적응하는 것이 쉽다. 그들은 무엇이 변했는지 직관적으로 인식하고 그들의 지식을 변화된 상황에 전달해 대응한다. 하지만 AI를 구성하는 신경망은 아직 이런 작업들을 할 수 없다.

예를 들면, 날씨가 좋은 날의 주행에 대해 트레이닝을 진행한 시스템은 반사가 되지 않는 비가 오는 날의 다른 환경을 인식하기 때문에 혼란스러워할 수 있다. 알지 못하는 기상 조건, 왼쪽에서 오른쪽으로 이동하거나 신호등 형태가 다른 경우에도 마찬가지다. 그리고 만약 e-스쿠터와 같은 생소한 물체를 인식하게 하려면 자율주행 기능은 먼저 그 물체들에 익숙해져야 한다.

 

프로젝트의 목적, 오직 "델타"로부터 배우다

 

이 모든 경우에, 지금까지 알고리즘에 변화만을 가르치는 것은 불가능했는데, 이것이 과학에서 "델타(Delta)"라고 불리는 것이다. 새로운 환경에 익숙해지려면 수정이 진행되는 전체 데이터 세트가 다시 필요하다. 이것은 마치 학생이 새로운 단어를 배울 때마다 사전을 펼쳐보아야 하는 것과 같은 맥락이다.

이런 종류의 학습은 막대한 자원을 낭비하게 된다. 포르쉐 엔지니어링의 AI 델타 학습 프로젝트에 참여한 한 박사과정 학생은 "이런 방식으로 자율주행 장치를 훈련시키는 데는 7만 시간이나 필요하다."라고 말한다. 실제 수많은 그래픽 처리 장치(GPU)가 AI 신경망을 훈련시키기 위해 병렬 방식으로 사용되지만 그 노력은 아직 상당하다.

또한, 신경망은 다른 차량, 차선 표시 또는 충돌 방지벽과 같은 중요한 내용이 표시된 실제 교통 사인 등의 이미지도 필요하다. 사람이 이 작업을 수작업으로 진행할 경우 도심의 표지판 스냅샷에 주석을 다는 작업에만 한 시간 이상이 필요하다. 모든 보행자, 횡단보도, 공사 안내 표지판 등의 이미지를 모두 표시해야 한다. 이런 라벨의 표시는 부분적으로 자동화할 수 있지만 모두 자동화하기 위해서는 엄청난 용량의 컴퓨터가 필요해진다.

신경망은 때때로 새로운 영역에 적응해야 할 때 기존에 배웠던 것들을 잊어버리기도 한다. 실제 이런 말도 안 되는 일들이 발생하곤 한다. 이전에 AI 모듈이 미국의 교통상황을 훈련할 때 차량이 없는 고속도로와 광활하게 펼쳐진 지평선의 많은 이미지들을 보았고 결국 AI는 하늘도 확실하게 식별할 수 있게 되었다.

독일에서 같은 종류의 테스트를 진행했을 때에도 문제는 발생했다. 두 번째 실험 후 AI 신경망은 미국의 이미지에서 하늘을 식별하는 데 어려움을 겪게 되었다. 독일의 이미지에서 본 하늘에 구름이나 건물들이 있었기 때문이었다.

지속적인 학습에서는 전체 데이터세트를 재교육할 필요 없이 새로운 지식으로 확장할 수 있는 알고리즘이 개발되었다. 기존 방법과 다르게 모든 데이터를 교육시간에 사용할 수 있어야 하는 것이 아닌 단계적으로 추가 데이터를 교육에 더할 수 있게 한 것이다. 예를 들면, 신경망이 독일의 것은 그대로 두고 일본의 정지 신호를 인식하도록 교육하는 것이다.

준 감독 학습에서 라벨은 데이터의 작은 부분에만 사용할 수 있고, 이 라벨을 카테고리에 따라 분류할 수 있다. 알고리즘은 레이블이 지정된 데이터 모두를 사용해 훈련을 진행한다. 예를 들면, 라벨링 된 데이터로 훈련된 모델을 사용해 라벨링 되지 않은 데이터 중 일부를 예측하는 것이다. 그리고 이런 예측을 훈련 데이터에 통합시켜 증강 데이터 세트를 사용해 다른 모델을 교육하도록 만들 수 있다.

비 감독 학습은 AI가 이전에 수동으로 분류되지 않은 데이터를 사용해 학습하는 것이다. 이를 통해 데이터 클러스터, 특징 추출 또는 입력 데이터의 새로운 압축된 표현을 사람의 도움 없이 진행할 수 있게 된다. AI 델타 학습 프로젝트에서 비 감독 학습을 사용해 신경망을 초기화하고, 주석이 달린 교육 데이터의 양을 줄여나간다.

또한 데이터의 통일된 표현을 학습하여 이미 훈련된 네트워크를 새로운 도메인에 적응시킬 수 있다. 주간 영상에서 야간 영상으로 전환할 때 모델이 낮 동안 학습한 기능은 야간에도 동일하게 적용할 수 있어야 하고 이상적으로는 변하지 않아야 한다.

능동적 학습을 통해 알고리즘은 교육 시간 동안 신경망에 대한 데이터를 스스로 선택한다. 이전에 발생하지 않았던 상황도 선택 가능하다. 선택은 무엇보다도 예측이 얼마나 확실한지를 추정하는 불확실성의 정도에서 출발한다. 능동적 학습을 통해 나중에 학습에 필수적인 데이터만 처리하면 되기 때문에 비디오 이미지의 수동 주석에 필요한 노력들을 제거해 나갈 수 있게 된다.

지식 전달은 보통 더 복잡한 모델에서 더 작은 모델로 신경 네트워크 간 전달을 말한다. 보다 복잡한 모델은 일반적으로 더 큰 지식 용량을 가지고 있기 때문에 더 높은 수준의 예측 정확도를 보인다. 지식 전달은 복잡한 네트워크에 포함된 지식을 정확도 손실 없이 더 작은 네트워크로 압축해 보내는 것이다. 그리고 지식 손실을 최소화하기 위해 연속 학습에서도 사용된다.

 

두 개의 AI가 서로를 훈련시키다

 

AI 델타 학습이 찾는 것이 바로 그런 최적화 가능성이다. 총 6가지 응용 분야에서 프로젝트 파트너들은 각각의 AI를 빠르고 쉽게 훈련시킬 수 있는 방법을 찾는다. 여기에는 무엇보다도 센서 기술의 변화나 알려지지 않은 기상 조건에 대한 적응도 포함된다. 검증된 솔루션은 프로젝트에 참여하는 조직 간에 서로 공유된다.

또 다른 유망한 접근 방법은 두 개의 인지 기능이 있는 AI가 서로를 교육하는 것이다. 첫 번째 AI인 교사 모델은 이런 목적을 위해 제작된다. 이 모델은 객체(기호와 같은)들이 표시된 교육 데이터를 수신한다. 두 번째 AI인 학생 모델도 데이터세트를 수신하지만 나무, 자동차, 도로 등 다른 것들을 표시한다. 그리고 교육이 시작된다. 이 시스템은 새로운 개념을 학습하면서 학생 역할의 AI에게 지식을 전달한다.

그래서 신호를 인식하는 데 도움을 준다. 학생 역할의 AI는 차례대로 다음 시스템의 교사 역할의 AI가 된다. 이런 방법을 사용하는 지식 전달은 OEM으로 자동차를 현지화시키는데 많은 시간을 절약할 수 있게 한다. 새로운 시장에 모델을 도입할 때 자율주행에 대한 학습 시 그 지역의 표지판에 다른 교사 역할의 AI를 추가로 사용하는 것뿐이며, 다른 모든 것들은 그대로 유지하는 것이 가능하다.

 

솔루션은 다양한 방법의 조합에서 나온다

 

연구원들이 현재 시험하고 있는 것의 대부분은 여전히 실험적이다. 신경망이 궁극적으로 새로운 환경에 가장 잘 적응할 수 있도록 하는 방법을 예측하는 것은 아직 불가능하다. 그러나 "솔루션은 여러 가지 방법의 교묘한 조합을 통해 나올 수 있다."라고 전문가들은 예상하고 있다. 그래서 1년간의 프로젝트의 결과에 대해 관련된 사람들은 모두 낙관적으로 예측하고 있다.

메르세데스-벤츠의 프로젝트 매니저인 세파티는, "우리는 좋은 진전을 이끌어냈다."라고 말한다. 그는 2022년 말 프로젝트가 종료되면 AI 델타 학습의 첫 번째 방법을 보여줄 수 있을 것으로 기대한다. 그리고 AI 전문가인 쉐퍼는, "교육 체인이 고도로 자동화되면 품질을 높이는 것과 동시에 비용 절감이 가능해질 가능성도 높다."라고 설명한다. 그는 AI 델타 학습을 통해 자율주행차량 개발에 투입되는 인력을 절반으로 줄일 수 있을 것으로 내다보았다.

 

AI 프로젝트 패밀리

 

AI 프로젝트는 다음 4개의 패밀리로 구성된다. 첫 번째는 AI 지식이다. 지식을 기계 학습에 통합하는 방법을 개발하는 것이다. 두 번째는 AI 델타 학습이다. 새로운 환경 또는 더 복잡한 시나리오의 과제를 해결하기 위해 자율주행차의 기존 AI 모듈을 효율적으로 확장하고 변환하는 방법과 도구를 개발하는 것이다. 세 번째는 AI 유효성 검사다. 자율주행을 위한 AI 기반 지각 기능을 검증하는 방법과 그 조치 방법에 대한 것이다. 마지막으로 AI 델타 툴링이다. AI를 위한 교육, 테스트, 검증 데이터의 효율적이고 체계적인 생성 및 개선을 위한 프로세스, 방법 그리고 도구를 말한다.

 

정리하면

 

환경이나 센서 기술을 변화시킬 때, 오늘날 자동차의 AI 신경망은 처음부터 반복해서 교육을 해야 한다. 그러나 AI 델타 학습 프로젝트는 이런 환경의 변경 후에 그들에게 차이점에 대한 것만 교육해 이와 관련된 모든 분야의 노력들을 크게 줄여가는 것을 목표로 하는 것이다.

 

 

 

 

 

---

---

수소가 미래다! BMW iX5 하이드로젠, 미래 모빌리티의 또 하나의 가능성

[메르세데스-마이바흐 S-클래스 - 15편] 특별한 디테일로 가득한 디자인

70년 전통의 벤틀리 디자인팀, 고객의 미래와 라이프스타일로 영역을 확장한다

[선데이 드라이브] 타이칸 터보 S가 누린 아이슬란드의 대자연