복잡한 실제 시나리오에서 안전하게 탐색하려면 자율주행차가 다양한 도로 조건에 적응하고 미래 사건을 예측할 수 있어야 합니다. 세계 모델을 기반으로 한 강화 학습(RL)은 다양한 환경의 복잡한 역학을 학습하고 예측함으로써 이를 달성하기 위한 유망한 접근 방식으로 부상했습니다. 그러나 복잡한 운전 환경에서 이러한 알고리즘을 훈련하고 테스트하기 위한 접근 가능한 플랫폼은 현재 존재하지 않습니다. 이러한 격차를 메우기 위해 세계 모델을 기반으로 한 자율 주행 알고리즘을 개발하고 평가하기 위해 특별히 설계된 최초의 오픈 소스 학습 플랫폼인 CarDreamer가 여기에 소개되었습니다. 여기에는 세 가지 주요 구성 요소가 포함되어 있습니다.
1%) WM(World Model) 백본: CarDreamer는 가장 진보된 세계 모델 중 일부를 통합하여 RL 알고리즘의 재현을 단순화합니다. 백본은 다른 부분과 분리되어 있으며 표준 Gym 인터페이스를 사용하여 통신하므로 사용자는 자신의 알고리즘을 쉽게 통합하고 테스트할 수 있습니다. CarDreamer의 주요 목표는 연구원과 개발자가 다양한 강화 학습 알고리즘을 빠르게 반복하고 테스트할 수 있는 유연하고 확장 가능한 플랫폼을 제공하는 것입니다. 플랫폼은 세계 모델을 인식과 계획이라는 두 가지 주요 구성 요소로 나누는 WM의 핵심 아이디어를 기반으로 합니다. 인식 구성요소는 환경으로부터 원시 입력을 받아 이를
CarDreamer로 고도로 구성 가능한 운전 작업 세트 제공(2%) 내장 작업: CarDreamer는 환경과 호환되는 고도로 구성 가능한 운전 작업 세트를 제공합니다. 체육관 인터페이스와 경험적으로 최적화된 보상 기능을 갖추고 있습니다.
CarDreamer는 운전 미션 생성을 단순화하는 유연한 미션 개발 키트입니다. 이 제품군을 사용하면 교통 흐름과 차량 경로를 쉽게 정의하고 시뮬레이션 데이터를 자동으로 수집할 수 있습니다. 시각화 서버를 사용하면 사용자는 브라우저를 통해 실시간 에이전트 구동 비디오 및 성능 지표를 추적할 수 있습니다. 또한 CarDreamer는 자율 주행에서 WM의 성능과 잠재력을 평가하기 위해 풍부함과 유연성 연구를 수행했습니다. CarDreamer의 풍부한 기능과 유연성으로 인해 관찰 모드, 관찰 가능성 및 차량 의도 공유가 AV 안전 및 효율성에 미치는 영향도 체계적으로 연구됩니다.
미래 모빌리티 시스템은 안전성, 효율성 등 많은 유망한 이점을 제공하면서 자율주행차에서 핵심적인 역할을 하게 될 것입니다. 최근 자율주행자동차의 개발은 큰 성과를 거두었습니다. 미국에서만 자율주행차가 이미 공공도로에서 수백만 마일을 주행했습니다. 그러나 복잡하고 다양한 실제 시나리오를 탐색할 수 있는 강력한 자율주행 차량을 달성하는 것은 여전히 어려운 과제로 남아 있습니다. 미국 교통부 산하 연방고속도로국(Federal Highway Administration)의 계산에 따르면, 자율주행차의 충돌사고율은 기존 차량보다 약 2배나 높습니다. 하지만 기술이 계속해서 발전함에 따라 자율주행차의 충돌률은 크게 개선될 것으로 예상됩니다. 더 높은 안전성을 달성하기 위해서는 자율주행차가 더욱 진보된 인식과 의사결정 능력을 갖춰야 합니다. 자율주행차는 고급 센서 기술과 기계 학습 알고리즘을 활용하여 주변 환경에서 장애물과 다른 차량의 동작을 보다 정확하게 식별하고 예측할 수 있습니다. 또한, 자율주행차는 교통당국과의 협력을 통해 교통 흐름의 효율성을 향상시킬 수 있습니다. 자율주행차는 신호등 및 기타 교통시설과의 상호 연결을 통해 실시간으로 속도와 경로를 조정하여 교통량을 줄일 수 있습니다
자율주행차의 신뢰성은 예측할 수 없는 상황에서 자율주행 시스템의 일반화 능력을 직접적으로 결정합니다. 뛰어난 일반화 기능을 갖춘 WM(World Models)은 환경의 복잡한 역학을 학습하고 미래 시나리오를 예측함으로써 유망한 솔루션을 제공합니다. 특히 WM은 컴팩트한 잠재성을 학습하고 환경의 핵심 요소와 역학을 동적으로 인코딩합니다. 이 학습된 표현은 더 나은 일반화에 기여하여 WM이 교육 샘플 이상의 시나리오에서 예측할 수 있도록 합니다. 내부적으로 WM에는 시각적 모델 및 메모리 모델과 같이 인간의 인식 및 의사 결정을 모방하는 구성 요소가 포함되어 있습니다. 사실 인간이 알 수 없거나 보이지 않는 사건에 직면했을 때 적절한 조치를 취할 수 있는 이유는 바로 인간의 세계에 대한 내부 모델 때문입니다. WM 기반 강화 학습(RL) 알고리즘은 인간 지능과 유사한 인지 과정을 시뮬레이션함으로써 Atari 게임 및 Minecraft와 같은 영역에서 최첨단 성능을 보여주었습니다. 그러나 자율 주행에 WM을 적용하는 것은 여전히 흥미로운 분야로 남아 있습니다. 부분적으로는 그러한 RL 알고리즘을 훈련하고 테스트하기 위한 사용하기 쉬운 플랫폼이 부족하기 때문입니다. WM을 기반으로 한 자율주행 학습 플랫폼의 개발은 이 분야 연구에 큰 도움이 될 것입니다.
그래서 이러한 요인에 힘입어 우리는 CarDreamer를 출시했습니다. 이는 WM 기반 자율주행을 위해 특별히 설계된 최초의 오픈소스 학습 플랫폼입니다. CarDreamer는 알고리즘의 신속한 개발 및 평가를 촉진하여 사용자가 제공된 작업에 대해 알고리즘을 테스트하거나 포괄적인 개발 키트를 통해 사용자 정의 작업을 신속하게 구현할 수 있도록 합니다. CarDreamer의 세 가지 주요 기여는 다음과 같습니다. 1. 신속한 개발 및 평가: CarDreamer는 신속한 알고리즘 개발 및 평가를 위한 강력한 도구 세트를 제공합니다. 사용자는 이러한 도구를 활용하여 알고리즘을 테스트하고, 제공된 작업에 대한 자율 주행 실험을 수행하고, 성능 평가를 수행할 수 있습니다. 2. 사용자 정의 작업: CarDreamer는 사용자가 사용자 정의 작업을 신속하게 구현할 수 있도록 포괄적인 개발 키트를 제공합니다. 이를 통해 사용자는 특정 요구 사항을 기반으로 자체 자율 주행 알고리즘을 개발하고 CarDreamer 플랫폼에서 이를 테스트하고 검증할 수 있습니다. 3. 주요 기여 사항은 다음과 같습니다: CarDreamer는 재생산을 달성하기 위해
CarDreamer, CARLA 및 gym의 두 가지 초석에 대해 간략하게 소개합니다. CARLA는 강화 학습 훈련 및 평가를 위한 충실도가 높고 유연한 시뮬레이터이자 표준 인터페이스입니다. Gym은 풍부한 환경과 알고리즘을 제공하는 강화 학습을 위한 오픈 소스 툴킷입니다. CarDreamer는 훈련과 평가를 위해 이 두 가지 초석을 사용하고 모델 훈련과 평가를 위한 인터페이스로 RL(강화 학습)을 사용합니다.
CARLA는 실제 교통 시나리오를 시뮬레이션하도록 설계된 오픈 소스 시뮬레이터입니다. CARLA는 사실적인 물리적 효과와 고품질 렌더링을 제공하는 Unreal Engine을 기반으로 합니다. CARLA는 지도, 건물, 차량 및 다양한 랜드마크를 포함한 디지털 자산을 제공합니다. RGB 카메라, LiDAR, RADAR 등 다양한 센서를 지원합니다. 사용자는 차량이나 보행자를 만들고 이러한 캐릭터를 완전히 제어할 수 있습니다. 이것은 실제로 매우 다재다능한 도구이지만 RL 알고리즘 적용의 주요 단점은 일반성에서도 비롯됩니다. BEV(조감도) 추출 및 지루한 프로세스를 얻는 것은 RL 알고리즘 훈련에 있어 신속한 배포를 방해합니다.
gym은 에이전트와 환경 간의 통신을 표준화하기 위해 OpenAI에서 정의한 표준 인터페이스입니다. 이 인터페이스의 핵심 부분은 Reset()과 step(action)의 두 가지 함수로 구성됩니다. 전자는 환경을 시작 상태로 초기화합니다. 후자는 에이전트로부터 작업 입력을 받고, 환경의 진화를 시뮬레이션하고, 관찰 데이터, 보상 신호, 종료 표시 및 일부 추가 정보를 반환합니다. 이러한 방식으로 RL 알고리즘은 둘 다 체육관 인터페이스를 지원하는 한 광범위한 조정 없이 다양한 환경에서 쉽게 테스트할 수 있습니다. Atari 게임, DMC 제품군 등 다양한 체육관 벤치마크를 개발하기 위한 많은 노력이 있어왔습니다. CARLA에서는 자율주행 분야에서 WM 기반의 RL 알고리즘이 사용되며, CarDreamer는 체육관 인터페이스를 통해 다양한 도심 주행 과제를 제공하여 훈련과 평가를 용이하게 하는 플랫폼입니다.
그림 1에 표시된 것처럼 CarDreamer에는 기본 제공 작업, 작업 개발 키트 및 월드 모델 백본이라는 세 가지 주요 구성 요소가 포함되어 있습니다. 미션 개발 키트는 CARLA에서 차량 생성, 교통 흐름 제어, 경로 계획 등 다양한 API 기능을 제공합니다. 관측 모듈은 센서 데이터, BEV(조감도) 등 다중 모드 관측 데이터를 자동으로 수집하며, 이는 독립적이고 사용자 정의 가능한 데이터 처리 절차에 의해 관리됩니다. 이러한 데이터는 두 가지 목적으로 사용됩니다. 즉, 작업 및 훈련 시각화 서버에서 활용됩니다. 시각화 서버는 HTTP 서버를 통해 실시간 주행 영상과 환경 피드백을 표시하고 체육관 인터페이스를 통해 월드 모델 알고리즘과 원활하게 통합됩니다. 에이전트의 응답을 작업으로 받은 후 관찰 모듈은 다음 프레임의 데이터 핸들러에서 데이터를 수집하여 이 작업 주기를 계속합니다.
여기에서는 차선 유지 및 좌회전과 같은 단순한 기술부터 교차로, 로터리 및 다양한 교통 흐름을 포함한 다양한 도로 조건에서의 무작위 로밍과 같은 보다 복잡한 도전에 이르기까지 다양하고 현실적인 작업이 신중하게 설계되었습니다. 이러한 작업은 고도로 구성 가능하며 자율 주행에 대한 근본적인 질문을 제기하는 많은 옵션을 제공합니다.
관측 가능성 및 의도 공유: 강화 학습에서 부분 관측 가능성은 중요한 과제입니다. 여기서 불완전한 상태 정보는 모든 과거 단계를 포함하여 입력 공간의 복잡성을 기하급수적으로 증가시킬 수 있습니다. 이러한 과제에 맞는 자율 주행 도구의 부족을 해결하기 위해 우리는 CarDreamer에서 세 가지 관찰 가능성 설정을 제공합니다. 1) 시야(FOV)에는 카메라 시야 내에 있는 차량만 포함됩니다. 2) SFOV(Shared Field of View)를 통해 차량은 자신의 시야 내에서 다른 차량과 통신하고 FOV 데이터를 수집할 수 있습니다. 3) 전체 관찰 가능성(FULL)은 완전한 환경 및 배경 교통 정보를 가정합니다. 또한 사용자는 차량이 의도를 공유하는지 여부와 대상을 제어할 수 있습니다. 이러한 구성은 "어떤 메시지를 전달할 것인가", "누구에게 전달할 것인가"라는 근본적인 질문과 일치합니다. 관찰 모드 : 사용자는 RGB 카메라 및 LiDAR와 같은 센서 데이터부터 BEV와 같은 합성 데이터에 이르기까지 다양한 모드를 포함하도록 관찰 공간을 구성할 수 있습니다. 이러한 유연성은 다중 모드 원시 센서 데이터에서 직접 결정을 내리거나 계획을 위해 BEV 감지를 사용할 수 있는 엔드투엔드 모델의 개발을 지원합니다. 난이도 : 난이도 설정은 주로 교통 밀도에 영향을 미치며 심각한 충돌 방지 문제를 야기합니다. 자율주행차의 안전이 중요한 이벤트는 드물기 때문에 자율주행차의 견고성을 검증하는 것은 이러한 이벤트의 희귀성으로 인해 본질적으로 어렵습니다. CarDreamer는 드물지만 중요한 사건을 시뮬레이션하는 시나리오에서 안전성과 효율성을 종합적으로 평가하도록 특별히 설계되었습니다.
보상 기능. CarDreamer의 각 작업에는 최적화된 보상 기능이 장착되어 있으며, 실험에서는 이를 통해 DreamerV3가 단 10,000개의 훈련 단계만으로 랜드마크 지점으로 성공적으로 이동할 수 있음을 보여줍니다(자세한 내용은 섹션 5 참조). 특히, 우리의 경험적 연구 결과에 따르면 속도 또는 증분 위치 변경을 기반으로 에이전트에 보상을 제공하면 절대 위치를 기반으로 보상하는 것보다 더 나은 성과를 얻을 수 있습니다. 이는 보상이 위치에만 기반을 둔 경우 에이전트가 작은 초기 이동을 한 다음 정지 상태를 유지함으로써 보상 기능을 활용할 수 있기 때문입니다. 추가 이동으로 인해 충돌 페널티가 발생할 수 있기 때문입니다. 실제로 우리는 학습된 정책이 로컬 최적 솔루션으로 수렴하여 정지 상태를 유지하여 충돌을 피하는 차선책 동작을 관찰합니다. 대조적으로, 보상을 속도에 기초하면 에이전트가 보상을 축적하기 위해 지속적인 동작을 유지하도록 강제하므로 바람직하지 않은 고정 정책으로 조기 수렴할 위험이 줄어듭니다. 보상 디자인은 기존 강화 학습 알고리즘에서 종종 무시되는 궤적의 부드러움과 같은 운전 작업의 주요 요구 사항을 신중하게 고려합니다. 일반적으로 이러한 알고리즘은 탐색을 장려하고 조기 수렴을 방지하기 위해 손실 함수 또는 값 추정에 엔트로피 항을 포함합니다. 그러나 자율 주행의 맥락에서 이 엔트로피 항은 차량이 지그재그 궤적을 따르도록 장려할 수 있습니다. 왜냐하면 이러한 불규칙한 모션은 더 부드러운 경로에 비해 더 높은 엔트로피 보상을 생성하기 때문입니다. 두 궤적이 모두 목표에 대해 유사한 진행이 가능하더라도 가능합니다. 이 효과에 대응하기 위해 특별히 설계된 페널티 항이 여기에 도입되어 대상 방향에 수직인 동작을 차단합니다. 따라서 우리는 다음과 같은 구조로 목표 진행 상황과 궤적의 부드러움 사이를 효과적으로 균형을 맞추는 보상 기능을 개발했습니다.
인터페이스 및 사용법: CarDreamer에 내장된 모든 작업은 통합 체육관 인터페이스를 채택하여 강화 학습 알고리즘이 다음을 수행할 수 있도록 합니다. 추가 조정 없이 직접 훈련하고 테스트할 수 있습니다. 기본 사용 외에도 CarDreamer는 간단한 작업에서 복잡한 작업까지 단계적으로 진행하는 코스 학습 알고리즘과 학습 시 치명적인 망각 문제를 해결하도록 설계된 지속적인 학습 알고리즘을 포함한 다양한 알고리즘을 지원합니다. 새로운 작업. 또한 모방 학습을 위해 CarDreamer는 시뮬레이터에서 관찰 데이터를 수집하는 과정을 단순화합니다. 원래는 WM 기반 강화 학습 알고리즘용으로 설계되었지만 체육관 인터페이스를 사용하면 다양한 알고리즘 전략에 광범위하게 사용할 수 있습니다.
미션을 맞춤화해야 하는 사용자를 위해 CarDreamer는 고도로 모듈화된 미션 개발 키트를 제공합니다. 이 키트는 다양한 수준의 맞춤화 요구 사항을 가진 사용자의 다양한 요구 사항을 충족할 수 있습니다. 초기 모듈은 "World Manager"로, 다양한 지도, 경로, 스폰 위치 또는 배경 교통 흐름을 통해 운전 장면을 변경하는 등 기본적인 요구 사항을 충족합니다. 월드 매니저는 차량, 보행자, 신호등, 센서 등 모든 개체를 포함하는 CARLA에서 빌려온 용어인 '액터'를 관리하는 역할을 담당합니다. 다양한 액터, 특히 기본 또는 사용자 정의 블루프린트를 사용하여 다양한 위치에 차량을 생성하는 API 호출을 제공합니다. 이러한 차량은 사용자에 의해 제어되거나 간단한 규칙에 기반한 자율주행 알고리즘인 오토파일럿(Autopilot)에 의해 제어될 수 있습니다. 재설정 시 리소스를 투명하게 삭제하고 해제합니다. 두 번째 모듈은 다양한 모드에서 관측 데이터를 자동으로 수집하는 'Observer' 모듈이다. 이를 통해 사용자는 수동 상호 작용 없이 사전 정의된 관찰 패턴에 쉽게 액세스할 수 있을 뿐만 아니라 데이터 사양의 광범위한 사용자 정의도 지원합니다. 이는 각각 RGB 카메라 프로세서 및 BEV 프로세서와 같은 특정 모드에 대한 데이터를 제공하는 일련의 데이터 프로세서를 통해 달성됩니다. 각 데이터 프로세서는 고도로 모듈화되어 있으며 특정 유형의 데이터의 전체 수명주기를 독립적으로 관리합니다. 사용자는 자신의 필요에 맞는 새로운 데이터 프로세서를 등록하여 관찰자를 강화할 수 있습니다.
세 번째 모듈에는 다양한 임무 경로 요구 사항을 충족할 수 있는 경로 계획자가 포함되어 있습니다. CarDreamer에는 여러 가지 플래너가 포함되어 있습니다. 지도를 가로지르는 탐색 로밍을 위한 확률론적 플래너, 사용자 정의 위치를 연결하는 웨이포인트를 생성하기 위한 고정 경로 플래너, 클래식 A* 알고리즘을 사용하여 현재 위치에서 지정된 위치까지의 경로를 생성하는 고정 엔드포인트 플래너 끝점. 추가 사용자 정의 요구 사항을 충족하기 위해 기본 클래스도 제공되며 사용자는 init_route() 및 extend_route() 메서드(각 시간 단계에 대한 경로 초기화 및 확장을 각각 정의함)를 재정의하여 자체 플래너를 개발할 수 있습니다. 또한 이 제품군에는 Observer의 출력과 환경에서 피드백된 기타 통계를 완벽하게 통합하고 이를 HTTP 서버를 통해 표시하는 시각화 서버가 포함되어 있습니다. 이 자동화는 추가적인 코딩 노력 없이도 신속한 피드백을 통해 보상 엔지니어링 및 알고리즘 개발 프로세스를 개선합니다.
CarDreamer의 월드 모델 백본 프레임워크는 DreamerV2, DreamerV3 및 Planning2Explore 등을 포함한 가장 진보된 방법을 완벽하게 통합하여 이러한 모델의 빠른 재현을 촉진합니다. 이 백본 아키텍처는 작업별 구성 요소에서 월드 모델 구현을 분리하여 모듈성과 확장성을 높이도록 신중하게 설계되었습니다. 이러한 구성 요소 간의 통신은 표준 체육관 인터페이스를 통해 효율적으로 관리되므로 광범위한 사용자 정의가 가능합니다. 이러한 분리를 통해 사용자는 기본 월드 모델을 자신의 구현으로 쉽게 대체할 수 있으므로 신속한 프로토타이핑, 벤치마킹 및 확립된 벤치마크에 대한 비교 분석이 가능합니다. 따라서 CarDreamer는 세계 모델 기반 알고리즘을 위한 포괄적인 테스트 플랫폼을 제공하여 해당 분야의 가속화된 연구 개발을 위한 생태계를 조성합니다. 이 플랫폼은 사용자가 다양한 운전 작업과 성능 지표로 구성된 일관되고 표준화된 평가 프레임워크 내에서 혁신적인 아키텍처, 손실 기능 및 교육 전략을 탐색하도록 권장합니다.
1,800만 개의 매개변수만 포함하는 소형 DreamerV3 모델(그림 4 참조)이 모델 백본으로 사용됩니다. 이 작은 DreamerV3 모델에는 32개의 CNN 곱셈기, 512개의 GRU 및 MLP 장치가 있으며 MLP의 RSSM에는 2개의 레이어만 있습니다. 작은 메모리 오버헤드는 약 10GB이므로 CARLA 시뮬레이터를 실행하는 동안 단일 NVIDIA 4090 GPU에서 훈련할 수 있습니다. 각 작업에 대해 에이전트를 교육합니다.
시간 간격에 따른 보상 곡선의 변화는 그림 2에 나와 있습니다.
"단순 우회전" 및 "차선 병합"과 같은 교통량이 적은 간단한 작업은 일반적으로 50,000걸음(~1시간) 이내에 수렴되는 반면, 더 밀집되고 공격적인 교통 흐름은 더 밀집되고 공격적인 교통 흐름을 포함합니다. 충돌 작업의 경우 수렴하는 데 약 150,000~200,000걸음(약 3~4시간)이 소요됩니다. 평가에서 우리는 표 1에 자세히 설명된 대로 CarDreamer 작업에서 실행되는 자율 주행 에이전트의 성능을 엄격하게 평가하기 위해 여러 측정항목을 채택했습니다. 이러한 측정항목은 다음과 같습니다.
• 성공률: 이 측정항목은 에이전트 차량이 임무(사고나 차선 이탈 없이 목적지에 도달하거나 미리 결정된 거리를 이동함)를 성공적으로 완료한 비율을 측정합니다.
• 평균 거리(미터): 에피소드가 끝나기 전에 에이전트 차량이 모든 에피소드에 걸쳐 이동한 평균 거리를 나타냅니다(작업 완료 또는 충돌이나 시간 초과 등의 실패로 인해).
• 충돌률(%): 에이전트 차량이 충돌하는 구간의 비율을 계산합니다.
• 평균 속도(m/s): 임무 내내 에이전트 차량이 유지하는 평균 속도를 측정합니다. 이 지표는 속도와 안전의 균형을 맞추는 차량의 능력을 반영하며 차량이 주변 환경을 얼마나 효율적으로 탐색할 수 있는지를 나타냅니다.
• 웨이포인트 거리: 이 측정법은 원하는 경로 웨이포인트와의 평균 편차를 수량화합니다. 이는 주어진 궤적을 따라갈 때 탐색 정확도와 정밀도를 반영하여 계획된 경로를 따라가는 차량의 능력을 평가합니다.
월드 모델(WM)의 상상력은 미래 시나리오를 효과적으로 예측하고 잠재적인 사건을 관리할 수 있게 해줍니다. 다양한 관찰 방식에서 WM의 상상력 성능을 평가하기 위해 "우회전 난이도" 작업에 대한 실험을 수행했습니다. 조감도(BEV), 카메라, LiDAR(LiDAR)의 세 가지 다른 방식이 선택되었습니다. 각 양식에 대해 WM은 주어진 시작 상태와 일련의 작업에서 미래의 여러 단계에 대한 관찰 결과를 상상해야 합니다. 그림 4는 세 가지 양식에서 실제 이미지와 상상 이미지의 차이를 비교한 결과를 보여줍니다. 첫 번째 행은 실제 관찰 이미지, 두 번째 행은 WM 상상의 결과, 세 번째 행은 이들 간의 차이를 나타냅니다. 우리는 가상 범위 내에서 최대 64개의 시간 단계인 프레임을 선택했습니다. 이러한 결과는 다양한 양식에도 불구하고 WM이 미래를 정확하게 예측하는 데 여전히 탁월하다는 것을 시사합니다. BEV 실험(a)에서 WM은 직진 차량과 우회전 차량의 위치와 궤적은 물론 자아 차량에 대한 BEV의 회전과 병진 이동도 정확하게 예측했습니다. 마찬가지로, 카메라와 LiDAR 설정에서 WM은 자가 차량 앞으로 이동하는 차량도 성공적으로 예측했습니다.
CarDreamer의 독특한 기능 중 하나는 차량 간 통신 수준을 쉽게 맞춤 설정할 수 있다는 것입니다. 차량은 시야(FOV) 뷰를 공유할 수 있어 다양한 관찰이 가능합니다. 또한 더 나은 계획을 위해 의도(차량의 계획된 웨이포인트로 표시)를 공유할 수도 있습니다. 우리는 이 기능을 활용하여 의사소통의 영향을 평가합니다. 한 에이전트에서는 "우회전이 어려운" 작업의 다양한 설정, 즉 다양한 관찰 가능성과 다른 차량의 의도에 액세스할 수 있는지 여부에 따라 훈련 및 테스트되었습니다. 강제 우회전 작업은 교통량이 많고 시야 밖에 있는 차량과의 빈번한 잠재적 충돌로 인해 관찰 가능성과 의도 통신을 테스트하는 데 특히 적합합니다. 보상 곡선은 그림 5에 나와 있으며 일부 성과 지표는 표 2에 나와 있습니다. 우리의 보상 함수에서 성공적인 우회전 실행은 대략 250 이상의 보상으로 표현됩니다. 결과는 관찰 가능성이 제한되거나 의도 공유가 부족하여 에이전트가 작업을 완료하지 못하는 것으로 나타났습니다. 그림 6의 한 플롯에서 균일하게 샘플링된 이미지는 좋은 설명을 제공합니다. 에이전트는 보수적이고 최적이 아닌 전략을 채택하고 충돌을 피하기 위해 교차로에서 멈춥니다. 예를 들어, 그림 6의 처음 세 행에서 에이전트는 트래픽에 병합되기 전에 이동을 멈춥니다. 반면, 완전한 정보는 자아 차량이 우회전을 성공적으로 수행할 수 있게 해줍니다.
위 내용은 캘리포니아 대학의 최신 소식! CarDreamer: 자율 주행 알고리즘 테스트를 위한 포괄적이고 유연한 오픈 소스 플랫폼의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
