Visão geral da tecnologia LiDAR automotiva
(viksnewsletter.com)- O LiDAR para veículos autônomos é um sensor essencial para reconhecer rapidamente o entorno em 3D, mas o preço de equipamentos na faixa de milhares de dólares precisa cair bastante para viabilizar adoção em massa
- Os comprimentos de onda mais representativos, 905nm e 1550nm, têm vantagens e desvantagens diferentes em custo, potência, sensibilidade do detector, segurança ocular, interferência solar e desempenho em condições úmidas
- A escolha de fotodetectores como APD, SPAD e SiPM afeta diretamente a sensibilidade, o custo e a forma de integração do processamento de sinal, e o SPAD pode detectar o tempo de chegada de um único fóton em escala de picossegundos
- Atualmente, o dToF simples é o mais usado, com alcance comercial na faixa de 100~200m, enquanto o FMCW pode calcular distância e velocidade ao mesmo tempo, mas é mais complexo de implementar
- Há uma tendência clara de reduzir peças móveis, saindo de estruturas mecânicas rotativas para MEMS, Flash e OPA, para melhorar custo, confiabilidade e velocidade de captura
O papel do LiDAR em veículos autônomos
- LiDAR (Light Detection and Ranging) é uma tecnologia que mede a distância até objetos remotos usando laser infravermelho
- Já vem sendo usado em vegetação, topografia urbana, ruínas arqueológicas ocultas, arquitetura e realidade aumentada, e em veículos autônomos funciona como os “olhos” que criam rapidamente uma imagem 3D precisa do ambiente ao redor
- O princípio básico é parecido com o do radar, mas como usa laser com comprimento de onda menor que micro-ondas, consegue gerar imagens mais detalhadas
- Já é usado nos táxis autônomos da Waymo e da Cruise, e foi validado como tecnologia eficaz também para direção autônoma de Nível 4
- A maior limitação é o custo
- Os domos rotativos de LiDAR montados no teto do carro custam na faixa de milhares de dólares
- Fonte de luz, detector, circuitos eletrônicos e componentes mecânicos elevam o custo total
- Para adoção ampla, o custo precisa cair em pelo menos uma ordem de grandeza
- Mais de 140 startups competem no setor de LiDAR com foco em redução de custos e comercialização
Comprimento de onda de operação: 905nm e 1550nm
- O LiDAR automotivo opera principalmente na faixa do infravermelho, fora da luz visível de 380~700nm, e os comprimentos de onda mais comuns são 905nm e 1550nm
- A escolha do comprimento de onda depende da potência do laser, da sensibilidade do detector e do nível de interferência de luz natural e artificial
- A luz solar é uma forte fonte de interferência também no infravermelho, e a quantidade de luz solar que chega à superfície em um determinado comprimento de onda é medida como solar photon flux
- Nas regiões próximas de 905nm, 940nm e 1550nm há faixas de atenuação causadas pela absorção de vapor d’água na alta atmosfera, o que ajuda a reduzir interferência em sistemas terrestres
- O mesmo efeito de absorção pode enfraquecer o sinal do LiDAR em estradas com neblina e chuva
-
Vantagens e desvantagens de 905nm
- 905nm está mais próximo da luz visível, o que traz ao mesmo tempo questões de segurança ocular e interferência
- Como é facilmente absorvido pela retina e pode causar danos em exposição prolongada, precisa seguir padrões rigorosos de segurança ocular
- Há muitas fontes de interferência próximas da luz visível, como a luz solar e os faróis dos veículos, o que pode degradar o desempenho do sistema
- Em compensação, em comprimentos de onda menores a sensibilidade do fotodetector costuma ser maior, e a fonte laser é mais potente e barata
- A Ouster adota 850nm apesar do alto solar photon flux
- visibilidade em condições úmidas
- desempenho da fonte de luz e do detector
- abordagem patenteada para remoção de interferência ambiental são os motivos dessa escolha
-
Vantagens e desvantagens de 1550nm
- 1550nm sofre menos interferência da radiação solar, e como a luz penetra só até a córnea, há menos preocupação com segurança ocular do ponto de vista de proteção da retina
- Por ser mais seguro para os olhos, permite usar potência mais alta por mais tempo e oferecer maior alcance de detecção
- A desvantagem é a absorção maior por vapor d’água, o que dificulta o uso em condições molhadas
Fotodetectores: APD, SPAD, SiPM
- O detector mais comum em LiDAR automotivo é o Avalanche Photodiode (APD)
- O APD é uma junção semicondutora PN que usa o efeito fotoelétrico: em resposta aos fótons incidentes, gera pares elétron-lacuna e produz uma corrente proporcional ao número de fótons
- O material do APD altera a resposta em comprimento de onda e o custo
- Silicon APD responde bem a NIR e tem baixo custo de fabricação
- InGaAs é adequado para comprimentos de onda SWIR, mas é mais caro
- Germanium também é usado como material para APD
-
SPAD
- SPAD (Single-Photon Avalanche Diode) não gera um sinal analógico proporcional à quantidade de luz como um APD convencional, e sim uma resposta binária próxima da chegada do fóton
- Opera em Geiger-mode com forte polarização reversa, gerando alta corrente por avalanche breakdown mesmo com um único fóton
- Pode medir o tempo de chegada do fóton com precisão de picossegundos, ou seja, em trilionésimos de segundo, o que é vantajoso para medição precisa de distância
- Pode ser implementado em processo CMOS, favorecendo baixo custo e integração de grande volume de processamento de sinal ao lado do array de detectores
-
SiPM
- Na faixa de 905nm, o Silicon Photomultiplier (SiPM) substitui em grande parte o Silicon APD
- O SiPM é um array de microcélulas composto por SPADs e resistores de quenching
- Ao limitar internamente a corrente de avalanche, oferece alto ganho fotoelétrico e detecta com precisão o número de fótons incidentes conforme o nível de corrente de saída
Métodos de medição de distância: dToF e FMCW
-
Direct Time-of-Flight
- dToF (Direct Time-of-Flight) mede o tempo entre a emissão de um pulso laser e o retorno do sinal refletido
- O tempo total entre transmissão e recepção é o round-trip delay, e o tempo real até o objeto é metade desse valor
- A distância é calculada usando a velocidade da luz no meio de propagação
- A menor distância mensurável é limitada pela resolução dos circuitos eletrônicos de temporização
- Objetos próximos podem ter atraso de ida e volta tão curto que o detector não consegue distingui-los
- Por isso, a profundidade mínima normalmente fica limitada à faixa de alguns centímetros
- A distância máxima é determinada pela potência de transmissão, sensibilidade do detector e perda de percurso em espaço livre
- Se o sinal refletido não puder ser distinguido do ruído de fundo, não é possível interpretar a distância
- O alcance máximo de sistemas comerciais dToF é de 100~200m
- Hoje, a maioria dos sistemas LiDAR usa dToF por causa da simplicidade
-
iToF e AMCW
- Há outra abordagem baseada em tempo diferente do dToF que usa sinal de onda contínua e detecta a mudança de fase da onda refletida
- Esse método é chamado de iToF (indirect ToF) ou, de forma mais específica, AMCW (Amplitude Modulated Continuous Wave)
- O iToF é menos sensível a drift de temporização e mais adequado para medição de curta distância
-
FMCW
- O LiDAR FMCW (Frequency Modulated Continuous Wave) modula o comprimento de onda ou a frequência do pulso transmitido
- É uma tecnologia existente desde os anos 1960 e um conceito amplamente usado também em radar automotivo
- Um conjunto de sinais com modulação de frequência é chamado de chirp, e o sinal refletido apresenta diferença de frequência instantânea em relação ao sinal transmitido por causa do atraso no tempo
- Essa beat frequency pode ser reduzida por downconversion em um mixer para calcular ao mesmo tempo a distância e a velocidade do objeto
- A complexidade de implementação é maior que no dToF
- É necessária uma fonte laser com frequência ajustável para a modulação
- São necessários circuitos eletrônicos adicionais para extrair informação dos sinais de transmissão e recepção
- As vantagens também são claras
- Como a frequência muda a cada instante, a interferência entre sistemas LiDAR próximos é menor
- Requer menor potência de pico do laser do que ToF, o que afeta especialmente os critérios de segurança ocular em 905nm
LiDAR mecânico e espelhos MEMS
-
LiDAR de varredura rotativa
- O LiDAR mecânico gira o sensor acoplando o laser infravermelho a um motor DC sem escovas
- Oferece campo de visão horizontal de 360°, eliminando pontos cegos, mas o campo de visão vertical fica limitado a cerca de 90~95°
- O Laser Bear Honeycomb da Waymo é um exemplo de LiDAR mecânico de varredura e costuma aparecer montado na parte superior dos veículos autônomos da empresa
- O motor e os componentes de acionamento de precisão elevam o custo de componentes e estão sujeitos a desgaste por uso repetido
- Por isso, sistemas LiDAR de varredura são grandes e caros
-
LiDAR com espelho MEMS
- O LiDAR com espelho MEMS não move diretamente a fonte laser nem o sensor; em vez disso, reflete o laser em um espelho microeletromecânico móvel
- Ao fazer o espelho MEMS oscilar para frente e para trás em velocidade constante, o LiDAR pode varrer o espaço 3D
- Há três formas de acionamento
- acionamento eletrostático: usa apenas campo elétrico
- acionamento eletromagnético: usa campo elétrico e campo magnético
- acionamento térmico: usa calor
- O principal trade-off de projeto é entre peso do espelho e velocidade de varredura
- Espelhos pesados têm menor velocidade de varredura
- Espelhos MEMS 2D têm um eixo lento e um eixo rápido, movendo-se rapidamente em uma direção para fazer varredura raster
- Na direção vertical, movem-se mais lentamente para criar o deslocamento estático para uma nova varredura rápida
- Espelhos MEMS podem ser fabricados no processo back-end-of-line de foundries CMOS legadas e são considerados uma tecnologia madura
- Essa característica favorece a implementação de LiDAR de varredura com baixo custo
LiDAR de estado sólido: Flash e OPA
-
Flash Lidar
- O Flash lidar se parece mais com uma fotografia: em vez de varrer o espaço 3D, ilumina todo o espaço à frente de uma vez
- Usa VCSEL como fonte laser, ilumina a área-alvo com luz difusa e detecta o sinal refletido com um array de SiPM
- Pode capturar flashes LiDAR em até 30 quadros por segundo, oferecendo renderização 3D do ambiente em tempo real
- Tem campo de visão menor que o LiDAR mecânico rotativo, e a resolução é limitada, como em câmeras digitais, por quantos pixels podem ser colocados em uma área dada
- Em comparação com métodos de varredura, tem relação sinal-ruído menor
- A potência óptica limitada do laser precisa ser distribuída por todos os pixels do array
- O ruído de fundo ambiental no mesmo comprimento de onda do laser limita a sensibilidade de detecção
- A relação sinal-ruído é o fator limitante final do alcance do Flash lidar
- A literatura relata alcance máximo de até 100m e resolução em centímetros
- Algumas empresas adotam uma abordagem multi-beam
- iluminam apenas parte do ambiente em que o detector está buscando informação
- isso permite enviar mais potência óptica para um número menor de pixels relevantes, aumentando a relação sinal-ruído
- é algo próximo de uma combinação entre LiDAR de varredura e Flash lidar
- Como não há peças móveis, a confiabilidade do sistema é alta, ele é resistente a vibração e oferece alta velocidade de captura de dados
-
Optical Phased Array Lidar
- O LiDAR OPA (Optical Phased Array) busca implementar LiDAR de varredura em chip com silício fotônico e ainda está em fase de pesquisa
- O conceito vem de antenas phased array, em que o feixe irradiado é varrido ajustando a fase de cada sinal no array de antenas
- No OPA, a mudança de fase é implementada com guias de onda ópticos integrados ou aquecedores integrados
- os aquecedores tornam a luz mais lenta por meio de thermo-optic coupling
- conforme a fase muda, a direção da frente de onda irradiada pode ser varrida no espaço 3D
- A principal vantagem é a alta velocidade de varredura graças ao controle eletrônico e à eliminação de partes móveis
- O fato de poder ser implementado de forma totalmente integrada em wafers de silício de 300mm é atraente em termos de custo e confiabilidade
-
Desafios técnicos do OPA
- Aplicar frequência óptica a um phased array traz desafios específicos
- Gestão térmica: é preciso dissipar com eficiência o calor gerado por múltiplas fontes laser no chip
- Espaçamento entre elementos: o phased array exige espaçamento de meia onda entre elementos e, com laser de 1550nm, cada fonte óptica precisa ser posicionada a menos de 1 micrômetro
- Ângulo de varredura: o feixe de melhor qualidade sai em boresight, na direção frontal do array; quando se afasta mais de 60° do centro, grating lobes degradam a largura do feixe
- A Analog Photonics é uma empresa originada do MIT, fundada pelo Prof. Michael Watts, e trabalha para comercializar a tecnologia OPA
1 comentários
Opiniões do Hacker News
Como panorama básico, é razoável.
É surpreendente que scanners rotativos ainda sejam usados. Já se passaram 20 anos desde que a Velodyne os criou, e eles funcionam bem, mas são caros demais. Achei que flash LiDAR ou espelhos MEMS os substituiriam; a Continental comprou uma empresa pioneira em flash LiDAR há mais de 10 anos, mas o mercado de massa de que uma grande fornecedora de autopeças precisaria acabou nunca surgindo.
A Waymo ainda usa LiDAR rotativo até nos sensores pequenos nos cantos do veículo. Ali há menos necessidade de medir longas distâncias, então é preciso uma alternativa barata e embutida na carroceria. A posição é vulnerável demais. Talvez algo como um radar de ondas milimétricas com matriz faseada, montado atrás de painéis de carroceria de Fiberglas, seja possível. A Waymo terá de resolver esse problema antes de entrar em New York.
O LiDAR no teto talvez não seja um problema. Dizer que “ele precisa desaparecer porque o carro tem de parecer um carro” é parecido com insistir que automóveis deveriam ter o formato de carruagens puxadas por cavalos. Os primeiros automóveis pareciam carruagens, mas isso não durou muito.
Uma grande vantagem do LiDAR pulsado sobre métodos de onda contínua é que o problema de interferência entre dispositivos iguais é muito menor. O ciclo de trabalho é muito pequeno, e os dados de ida e volta de um pulso são coletados em menos de 1 microssegundo. Se você colocar um pouco de aleatoriedade no timing dos pulsos, colisões repetidas em sequência deixam de acontecer.
Os aparelhos antigos da Velodyne eram vulneráveis a danos se dois deles ficassem ligados continuamente bem ao lado um do outro. Também ouvi uma proposta para usar o tempo do GPS em dispositivos semelhantes para sincronizar a rotação de todos eles e impedir que apontassem uns para os outros, mas na prática isso não parecia ser um grande problema.
A maioria dos LiDARs automotivos também já opera em uma “região com poucos fótons”, na faixa de cerca de 200 a 300 fótons por reflexão[0]. Se você espalhar isso pela cena inteira, a relação sinal-ruído cai rapidamente.
Por isso é preciso usar 1550 nm, e matrizes grandes de detectores e lasers de alta potência em 1550 nm são muito caros.
Já faz um tempo no caso de MEMS, mas lembro que havia preocupações com o campo de visão/faixa de ângulo de direcionamento, a velocidade de direcionamento e a potência máxima do feixe.
Meu amigo Jake, que trabalha com LiDAR, me disse que o tamanho da abertura também é um problema dos MEMS. Se a abertura é pequena, menos luz é coletada e a relação sinal-ruído fica menor.
[0] https://www.hamamatsu.com/content/dam/hamamatsu-photonics/si...
Para entender por que lasers rotativos fazem sentido, é preciso saber algumas coisas sobre LiDAR.
Primeiro, qualquer dispositivo que emita luz em forma de cone sofre queda pelo inverso do quadrado. Se a distância dobra, a luz recebida por unidade de área cai para 1/4. Isso fica mais evidente em fotos noturnas com flash, mas também se aplica ao LiDAR. Em um carro, idealmente é preciso detectar objetos a 100 m de distância, então iluminar um ponto com laser é muito mais realista do que iluminar tudo.
Segundo, qualquer fonte de luz usada precisa ser segura para os olhos. O infravermelho tem vantagens de segurança em relação à luz visível, mas criar uma fonte de luz forte o suficiente para iluminar um objeto a 100 m de distância, e ainda assim segura, é muito difícil mesmo considerando as vantagens do infravermelho. Um laser de varredura não permanece muito tempo em um ponto, então pode usar intensidades maiores com segurança.
Terceiro, qualquer fonte de luz precisa competir com o Sol. O Sol pode estar baixo e ofuscar diretamente o sensor, além de iluminar o mesmo objeto que se tenta detectar. Por isso não dá para compensar uma fonte de luz fraca e a queda pelo inverso do quadrado apenas com processamento de sinal inteligente.
Por fim, essas montadoras imaginam um futuro em que todos os veículos na estrada usam essa tecnologia. Nesse caso, também há risco de interferência entre sinais refletidos de veículos diferentes. O LiDAR rotativo também pode ser vulnerável, mas o flash LiDAR é especialmente vulnerável.
Por outro lado, as empresas automobilísticas não têm medo de peças móveis. Carros já têm muitas peças rotativas, e elas dominam muito bem a tecnologia para fabricar coisas que conseguem girar continuamente por milhares de horas.
Os cantos são a posição ideal de montagem para máxima visibilidade. Eles permitem que o carro, na prática, veja além das esquinas de uma forma impossível com sensores montados no centro.
Não sei por que a Waymo teria de resolver isso antes de New York. Por causa de vandalismo?
Há uma “joia de LiDAR” interessante que apareceu no Hacker News alguns anos atrás:
https://news.ycombinator.com/item?id=33554679
É um algoritmo de detecção de obstáculos por LiDAR vindo de um repositório Git vazado no Tor.
É um algoritmo de mapeamento de área trafegável encontrado em um repositório Git que parece ter vazado de uma empresa de carros autônomos em 2017. Esse repositório ficou acessível por vários anos em um ou mais serviços ocultos do Tor.
O código de LiDAR parece ter sido escrito para o Velodyne HDL-32E. Ele funciona em várias etapas, e cada etapa refina a saída da anterior. Esse algoritmo fica na segunda etapa, e os outros métodos apenas acrescentam pequenas melhorias, então ele é o principal método de detecção de obstáculos.
O código vazado usava uma matriz em ordem por coluna de pontos e tratava explicitamente NaN, ou seja, pontos sem retorno. Reescrevi isso para um layout de matriz em ordem por linha, muito mais eficiente para cache, e usei condicionais que ignoram pontos NaN sem verificações explícitas.
Considerando a simplicidade, é um método de detecção de obstáculos surpreendentemente eficaz.
Um amigo pediu para eu perguntar.
Já trabalhei em FMCW LiDAR automotivo, que quase não chegou ao mercado. É uma tecnologia bacana, mas era difícil reduzir o custo e escalar, e isso é muito importante no mercado automotivo. Esse mercado tem margens muito baixas.
O LiDAR é perigoso para os olhos de outros motoristas ou pedestres?
Essas classes são atribuídas com base em se é seguro colocar o olho bem perto e olhar diretamente por um longo tempo
“A superpotência especial do LiDAR é conseguir gerar imagens de alta resolução do entorno muito melhor do que o radar.”
Isso está mesmo certo? Radares automotivos são fixos. Imagino que LiDARs semelhantes também sejam fixos e tenham n pontos para n lasers
Se fosse um radar giratório, ele poderia ver o entorno com resolução contínua, enquanto o LiDAR não estaria amostrando?
Eu achava que a vantagem do LiDAR estava na precisão e em medir melhor a altura dos objetos, e que o radar achatava o campo de visão
É uma tecnologia bacana que Musk detesta
1: https://www.youtube.com/watch?v=d6RndtrwJKE&t=1119s
Há um motivo para não existir algo parecido na natureza
Existe algum dispositivo LiDAR que eu possa levar para casa e usar para escanear minha casa com resolução maior que a do iPhone?
No mercado de consumo, a fotogrametria é muito mais barata, então costuma ser preferida quando não é necessária uma precisão definida em alto nível de detalhe. O LiDAR hoje se encaixa melhor em contextos industriais/profissionais, porque tem precisão maior. Se o LiDAR conseguirá descer para um nível de consumo com custo menor é uma grande questão em aberto, basicamente a mesma do uso em automóveis
Essa suposta “sepultura” tinha aproximadamente o tamanho e o formato de uma pessoa; o chão estava afundado em forma côncava, com o ponto mais fundo no centro, e era cercado por pedras um pouco maiores que toranjas
O motivo de eu suspeitar que seja uma sepultura é que, no sítio histórico Mercur cemetery, no condado de Tooele, Utah, já vi por acaso algo muito parecido
Será que eu conseguiria provar ou refutar minha hipótese da sepultura com LiDAR?
Artigo relacionado: https://www.viksnewsletter.com/p/teslas-big-bet-cameras-over...
Parece mais ou menos no mesmo nível da Tesla, mas a Waymo não parece considerar esse nível suficiente
[1] https://www.forbes.com/sites/bradtempleton/2024/10/30/waymo-...
[2] https://arxiv.org/pdf/2410.23262
Por que o LiDAR é tão caro? Ele ainda precisa ser miniaturizado. Mesmo assim, como há esforço de engenharia suficiente, parece ser um problema que o tempo vai resolver
Com um ponteiro laser de consumo já dá para cegar alguém; fico curioso se existe algum sistema para impedir ataques adversariais ou ataques de negação de serviço
Se alguém começar a atacar fisicamente um sistema de segurança, acho que deve pegar uma pena de prisão bem longa
Antigamente, quando eu trabalhava como engenheiro de pesquisa na universidade, mexi em um Velodyne de 16 feixes na época em que ele era um equipamento de ponta
No dia da demonstração, montamos no carro e ele desenhava pontos em 3D, marcando obstáculos em vermelho, mas ao pôr do sol surgiu um artefato que não havia uma forma clara de filtrar
Curiosamente, nunca consegui reproduzir esse fenômeno de novo. Acho que foi por causa de alguma condição atmosférica específica