La nueva tecnología de visión nocturna permite a la IA ver en la oscuridad total como si fuera plena luz del día

Los depredadores nocturnos tienen un superpoder arraigado: incluso en la oscuridad más absoluta, pueden inspeccionar fácilmente su entorno y localizar sabrosas presas escondidas en un paisaje monocromático.

Buscar tu próxima cena no es la única ventaja de ver en la oscuridad. Por ejemplo, conducir por un camino rural de tierra en una noche sin luna. Los árboles y arbustos pierden su vitalidad y textura. Los animales que corren por la carretera se convierten en manchas oscuras. A pesar de su sofisticación durante el día, nuestros ojos luchan por procesar la profundidad, la textura e incluso los objetos en condiciones de poca luz.

No sorprende que las máquinas tengan el mismo problema. Aunque están armados con una gran cantidad de sensores, los autos autónomos todavía están tratando de hacer honor a su nombre. Funcionan bien en condiciones climáticas perfectas y en carreteras con carriles de circulación despejados. Pero si se les pide a los automóviles que conduzcan bajo lluvia intensa o niebla, humo de incendios forestales o carreteras sin alumbrado público, tendrán dificultades.

Este mes, un equipo de la Universidad Purdue abordó de frente el problema de la baja visibilidad. Combinando imágenes térmicas, física y aprendizaje automático, su tecnología permitió que un sistema visual de inteligencia artificial pudiera ver en la oscuridad como si fuera de día.

En el centro del sistema se encuentran una cámara infrarroja y una IA, entrenadas en una base de datos personalizada de imágenes para extraer información detallada de un entorno determinado, esencialmente, aprendiendo a sí mismo a mapear el mundo usando señales de calor. A diferencia de los sistemas anteriores, la tecnología, llamada detección y alcance asistidos por calor (HADAR), superó un obstáculo notorio: el "efecto fantasma", que generalmente causa imágenes borrosas, parecidas a fantasmas, difícilmente útiles para la navegación.

Dar visión nocturna a las máquinas no sólo ayuda a los vehículos autónomos. Un enfoque similar también podría reforzar los esfuerzos para rastrear la vida silvestre para su preservación, o ayudar con el monitoreo a larga distancia del calor corporal en puertos concurridos como medida de salud pública.

"HADAR es una tecnología especial que nos ayuda a ver lo invisible", dijo el autor del estudio Xueji Wang.

Nos hemos inspirado mucho en la naturaleza para entrenar coches autónomos. Las generaciones anteriores adoptaron el sonar y la ecolocalización como sensores. Luego vino el escaneo Lidar, que utiliza láseres para escanear en múltiples direcciones, encontrar objetos y calcular su distancia en función de la velocidad con la que rebota la luz.

Aunque potentes, estos métodos de detección presentan un gran obstáculo: son difíciles de ampliar. Las tecnologías son “activas”, lo que significa que cada agente de IA (por ejemplo, un vehículo autónomo o un robot) necesitará escanear y recopilar información constantemente sobre su entorno. Con varias máquinas en la carretera o en un espacio de trabajo, las señales pueden interferir entre sí y distorsionarse. El nivel general de señales emitidas también podría dañar potencialmente los ojos humanos.

Los científicos llevan mucho tiempo buscando una alternativa pasiva. Aquí es donde entran las señales infrarrojas. Todo el material (cuerpos vivos, cemento frío, figuras de personas en cartón) emite una firma de calor. Estos se capturan fácilmente con cámaras infrarrojas, ya sea en la naturaleza para monitorear la vida silvestre o en museos de ciencia. Es posible que lo hayas probado antes: sube y la cámara muestra una masa bidimensional tuya y cómo diferentes partes del cuerpo emanan calor en una escala de colores brillantes.

Desafortunadamente, las imágenes resultantes no se parecen en nada a ti. Los bordes del cuerpo están manchados y hay poca textura o sensación de espacio 3D.

“Las imágenes térmicas del rostro de una persona muestran sólo contornos y cierto contraste de temperatura; no hay características que parezcan como si hubieras visto un fantasma”, dijo el autor del estudio, el Dr. Fanglin Bao. "Esta pérdida de información, textura y características es un obstáculo para la percepción de las máquinas mediante radiación térmica".

Este efecto fantasma se produce incluso con las cámaras térmicas más sofisticadas debido a la física.

Verá, desde los cuerpos vivos hasta el cemento frío, todo material envía señales de calor. Del mismo modo, todo el entorno también emite radiación térmica. Al intentar capturar una imagen basándose únicamente en señales térmicas, el ruido del calor ambiental se mezcla con los sonidos emitidos por el objeto, lo que da como resultado imágenes borrosas.

"Eso es lo que realmente queremos decir con imágenes fantasma: la falta de textura, la falta de contraste y la falta de información dentro de una imagen", dijo el Dr. Zubin Jacob, quien dirigió el estudio.

HADAR volvió a lo básico, analizando las propiedades térmicas que esencialmente describen qué hace que algo esté caliente o frío, dijo Jacob.

Las imágenes térmicas están formadas por flujos de datos útiles mezclados. No sólo capturan la temperatura de un objeto; también contienen información sobre su textura y profundidad.

Como primer paso, el equipo desarrolló un algoritmo llamado TeX, que separa todos los datos térmicos en contenedores útiles: textura, temperatura y emisividad (la cantidad de calor emitida por un objeto). Luego, el algoritmo se entrenó en una biblioteca personalizada que cataloga cómo los diferentes elementos generan señales de calor en todo el espectro de luz.

Los algoritmos están integrados en nuestra comprensión de la física térmica, dijo Jacob. "También utilizamos algunas cámaras avanzadas para unir todo el hardware y el software y extraer información óptima de la radiación térmica, incluso en la oscuridad total", añadió.

Nuestras cámaras térmicas actuales no pueden extraer señales de manera óptima solo de termoimágenes. Lo que faltaban eran datos para una especie de “color”. De manera similar a cómo nuestros ojos están conectados biológicamente a los tres colores principales (rojo, azul y amarillo), la termocámara puede "ver" en múltiples longitudes de onda más allá del ojo humano. Estos "colores" son fundamentales para que el algoritmo descifre la información, ya que faltan longitudes de onda similares al daltonismo.

Utilizando el modelo, el equipo pudo atenuar los efectos fantasma y obtener imágenes más claras y detalladas de las cámaras térmicas.

La demostración muestra que HADAR "está preparado para revolucionar la visión por computadora y la tecnología de imágenes en condiciones de baja visibilidad", dijeron los Dres. Manish Bhattarai y Sophia Thompson, del Laboratorio Nacional de Los Álamos y la Universidad de Nuevo México, Albuquerque, respectivamente, que no participaron en el estudio.

En una prueba de concepto, el equipo enfrentó a HADAR con otro modelo de visión por computadora impulsado por IA. El estadio, con sede en Indiana, es sacado directamente de Rápido y Furioso: tarde en la noche, con poca luz, al aire libre, con una imagen de un ser humano y una figura de cartón de Einstein parado frente a un auto negro.

En comparación con su rival, HADAR analizó la escena de una sola vez, distinguiendo entre caucho de vidrio, acero, tela y piel. El sistema descifró fácilmente al ser humano frente al cartón. También podría detectar la percepción de profundidad independientemente de la luz externa. "La precisión para alcanzar un objeto durante el día es la misma... en la oscuridad total, si se utiliza nuestro algoritmo HADAR", dijo Jacob.

HADAR no está exento de defectos. El principal inconveniente es el precio. Según New Scientist, toda la configuración no sólo es voluminosa, sino que cuesta más de 1 millón de dólares por su cámara térmica y su cámara de imágenes de grado militar. (HADAR se desarrolló con la ayuda de DARPA, la Agencia de Proyectos de Investigación Avanzada de Defensa conocida por defender empresas aventureras).

El sistema también debe calibrarse sobre la marcha y puede verse influenciado por una variedad de factores ambientales que aún no están integrados en el modelo. También está la cuestión de la velocidad de procesamiento.

"El sensor actual tarda alrededor de un segundo en crear una imagen, pero para los coches autónomos necesitamos entre 30 y 60 hercios de velocidad de cuadros, o cuadros por segundo", dijo Bao.

Por ahora, HADAR aún no puede funcionar de inmediato con las cámaras térmicas disponibles en Amazon. Sin embargo, el equipo está ansioso por llevar la tecnología al mercado en los próximos tres años, uniendo finalmente la luz y la oscuridad.

“La evolución ha hecho que los seres humanos prefieran el día. La percepción mecánica del futuro superará esta antigua dicotomía entre el día y la noche”, afirmó Jacob.

Crédito de la imagen: Jacob, Bao y otros/Universidad Purdue