서문
자율주행 기술의 발전과 함께 더 많은 사람들이 새로운 기술을 접하게 되었고, 컴퓨터 세계에서 자율주행이 어떻게 구현되는지, 그리고 자율주행 시스템에 포함된 특정 기능들이 어떻게 작동하는지에 대한 호기심도 커지고 있습니다. 이번에는 시스템에서 「360° 후방 카메라」 뒤에 숨은 알고리즘 로직을 설명하고 실제로 구현해 보겠습니다.
역투시 변환
화면을 획득할 때, 차량은 여러 대의 카메라를 호출하여 하나의 「360° 파노라마 사진」을 합성합니다.
그리고 조감 시점을 형성하는 「360° 후방 카메라」 는 수학적 연산, 즉 역투시 변환(IPM)을 거쳐야 합니다.
이 분야에는 다양한 IPM 변환 방식이 있습니다. 예를 들어 「대응점 쌍 호모그래피 변환 방법」, 「단순화된 카메라 모델 역투시 변환」 등이 있으며, 모두 행렬 변환 법칙을 활용합니다.
대응점 쌍 호모그래피 변환 방법
이 변환 방식은 비교적 간단하므로 자세히 설명하지 않겠습니다.
최소 네 쌍의 대응점을 입력해야 하며, 세 점 이상이 공선상에 있으면 안 됩니다. 카메라 매개변수나 평면 위치에 대한 정보를 알 필요 없이 점 쌍을 이용하여 원근 변환 행렬을 구합니다. 행렬은 3차 정방행렬이므로 선형 방정식을 구성하여 풀 수 있습니다. 점이 네 개보다 많으면 방법을 사용할 수 있으며, 점을 선택하는 방법은 일반적으로 수동으로 선택하며, 주로 소실점을 선택합니다.

이 변환은 코드로 구현하기 비교적 간단하며, IPM 변환을 쉽게 구현할 수 있습니다. 여기서는 더 이상 자세히 설명하지 않고 코드 예제도 제공하지 않겠습니다.
단순화된 카메라 모델 IPM 방법
이번에 중점적으로 분석할 변환 방법입니다. 이 알고리즘의 핵심은 카메라 이미징 과정에서의 다양한 좌표 간 변환 관계를 활용하고, 이를 추상화 및 단순화하여 최종적으로 세계 좌표를 얻는 것입니다.
그런 다음 세계 좌표와 이미지 좌표 간의 대응 관계를 설정하고, 이 관계를 사용하여 수학적 변환을 수행하여 얻습니다.

일부 복잡하고 긴 계산 공식과 달리, 여기서는 여전히 좌표 연산을 사용합니다. 이러한 IPM 계산 방법을 위해서는 먼저 카메라의 실제 매개변수를 측정해야 합니다.
여기서 앙각 는 , 중심 높이 는 , 시점에서 시평면까지의 거리 는 이며, 세계 좌표 를 구합니다.
카메라 이미지 좌표를 로 설정하고, 세계 좌표와 이미지 좌표의 관계로부터 행렬 방정식을 세우면,
이미지 좌표를 식 에 대입하여 세계 좌표의 행렬을 구하면,
, , , , 로 두고, 기하학적 관계에 의해 임을 알 수 있습니다. 의 가장 단순한 형태를 구하면
마지막으로 이미지를 처리합니다. 처리하는 이미지는 2차원 평면도이므로 이미지 깊이는 항상 0입니다. 에 따라, 배열의 가로 및 세로 좌표를 대입하기만 하면 세계 좌표계의 좌표값, 즉 IPM 후의 조감도를 얻을 수 있습니다.
