Estándares abiertos que impulsan el futuro de la visión integrada

Los estándares abiertos agilizan la interoperabilidad entre tecnologías críticas, reduciendo los costos de desarrollo de productos y el tiempo de comercialización, al tiempo que aceleran la innovación de la industria.

Para conocer los últimos avances en este ámbito, el IMVE ha elegido recientemente el cerebro deLaurent Pinchart, fundador de Ideas on Board y miembro de un nuevo grupo de trabajo que busca un estándar de visión integrado bajo el paraguas del Grupo Khronos.

IMVE: ¿Cuál es la trayectoria de su organización?

LP: Como organismo de normalización sin fines de lucro con cerca de 200 empresas miembro, The Khronos Group está comprometido a desarrollar y desarrollar estándares de interoperabilidad abiertos y libres de regalías para el bien de la industria. Nuestro lema 'Connect Software to Silicon' refleja nuestra misión de brindar a los mercados clave API estándar oportunas y efectivas que permitan que las aplicaciones, bibliotecas y motores de software aprovechen el poder de la aceleración del silicio para casos de uso exigentes, como gráficos 3D, computación paralela, tecnología aumentada. y realidad virtual, procesamiento de visión e inferencia.

Empresas miembros del Grupo Khronos

Somos una organización impulsada por sus miembros que cree que los estándares abiertos que no están controlados por ninguna empresa ni dependen de ella, a menudo pueden ser el hilo conductor del progreso de la industria a medida que las tecnologías, las plataformas y las posiciones en el mercado giran y evolucionan.

IMVE: ¿Cuáles son algunos de los estándares existentes desarrollados por los miembros de Khronos?LP: La familia de estándares abiertos que Khronos está desarrollando activamente incluye API de aceleración 3D como OpenGL y la API de GPU Vulkan de nueva generación; iniciativas en torno a estándares de formato 3D, incluido glTF para activos y KTX para texturas; el estándar API OpenXR para realidad virtual y aumentada portátil; y una familia de API y lenguajes para computación paralela, aceleración de visión e inferencia, incluidos OpenCL, SYCL, SPIR-V y OpenVX, y ahora la nueva API de cámara integrada Kamaros actualmente en desarrollo.

IMVE: ¿Existen versiones alternativas de alguno de estos estándares para diferentes aplicaciones?

LP: Sí. Khronos también tiene un historial de adaptación de las principales API de aceleración para mercados críticos para la seguridad. Vulkan SC se deriva de Vulkan API, para agilizar la certificación de seguridad de sistemas que emplean aceleración de GPU, al permitir a los implementadores de sistemas proporcionar paquetes de evidencia de certificación con costo y esfuerzo reducidos. OpenVX tiene un perfil crítico para la seguridad que permite el rápido despliegue de modelos de redes neuronales entrenados.

Finalmente, el recién creado Grupo de Trabajo de Seguridad Crítica de Khronos SYCL está investigando los requisitos de la industria para una API de programación paralela general para computación acelerada utilizando el modelo de programación de fuente única C++ estándar de SYCL en mercados críticos para la seguridad. SYCL SC cerrará la brecha entre las API de bajo nivel como Vulkan SC y el lenguaje de alto nivel C++ para agilizar el desarrollo y la certificación de seguridad de sistemas que incorporan una sofisticada aceleración de procesamiento paralelo, incluida la inteligencia artificial y los canales de aprendizaje automático.

IMVE: ¿Qué tipo de organizaciones participan en los grupos de trabajo de Khronos?

LP: Para usar el grupo de trabajo SYCL SC como ejemplo, este grupo de trabajo ya ha obtenido el apoyo de líderes de la industria, incluidos AMD, Arm, Barcelona Supercomputer Center, Codeplay, CoreAVI, Intel, Intellias, Mercedes-Benz y Qualcomm Technologies Inc. Todos los miembros de Khronos Pueden participar en cualquier grupo de trabajo y la membresía en Khronos está abierta a todos. Khronos da una calurosa bienvenida a cualquier empresa que desee participar.

Grupos de trabajo activos de estandarización de Khronos

IMVE: ¿Por qué es necesario un estándar API de cámara integrada?

LP: Los subsistemas de cámaras sofisticados son cada vez más críticos en diversos mercados, como la robótica, la conducción autónoma, los gemelos digitales y la realidad virtual y aumentada, donde el procesamiento de la visión, a menudo utilizando el aprendizaje automático, se utiliza para comprender el entorno, los procesos, los objetos y los usuarios. En consecuencia, un número y una diversidad cada vez mayores de sensores y procesadores de señales de imagen (ISP) asociados se están integrando estrechamente con aceleradores de visión e inferencia en sistemas integrados autónomos.

La actual falta de estándares API de cámaras interoperables resulta en costos de integración innecesariamente altos para estas nuevas tecnologías de cámaras, lo que aumenta el tiempo de desarrollo de aplicaciones y los costos de mantenimiento al tiempo que reduce la portabilidad del software y las oportunidades de reutilización de código.

IMVE: ¿Qué trabajo están haciendo los miembros de Khronos en el desarrollo de un estándar API de cámara integrada?LP: Durante 2021, el Grupo Khronos y la Asociación Europea de Visión Artificial (EMVA) trabajaron juntos para convocar un grupo exploratorio en el que participaron más de setenta empresas que trabajaron juntas para explorar el consenso de la industria sobre la necesidad, la terminología, el alcance, los requisitos y la metodología de diseño de un nuevo estándar abierto. API del sistema de cámara. Los requisitos generados por el Grupo Exploratorio Khronos/EMVA fueron la motivación para crear el Grupo de Trabajo Kamaros en Khronos en marzo de 2022, que debía centrarse en el desarrollo de un estándar abierto entre proveedores para el control de cámaras, sensores e ISP.

Kamaros es una API de cámara multiplataforma orientada al desarrollador

A medida que avanza el diseño de la API de Kamaros, Khronos y EMVA continúan su estrecha colaboración y han firmado un Acuerdo de Enlace, lo que permite una estrecha coordinación continua entre los dos grupos. A los enlaces designados se les han otorgado privilegios de miembros conjuntos en ambas organizaciones. Además, todos los miembros de EMVA tienen una invitación permanente para unirse al Panel Asesor de Kamaros sin costo alguno.

ESCUCHAR:¿Cuáles son los objetivos del Grupo de Trabajo Kamaros?

LP: Los objetivos de diseño de Kamaros incluyen la portabilidad del código de la aplicación a través de diversas plataformas y múltiples generaciones de cámaras y sensores, al tiempo que proporciona una API eficaz para el desarrollo de aplicaciones, marcos y bibliotecas que necesitan acceso a funciones sofisticadas de cámaras. Kamaros aprovechará muchas mejores prácticas de diseño de otras API de Khronos establecidas, incluida la estructura de especificaciones y las herramientas, la extensibilidad flexible y potente, los controladores instalables con capas de instrumentación y depuración y la generación basada en esquemas de múltiples enlaces de lenguaje API.

Otras direcciones de diseño clave que se están discutiendo actualmente en el Grupo de Trabajo de Kamaros incluyen: cuál es la mejor manera de equilibrar la exposición de todo el poder de la cámara y el procesamiento del ISP versus un modelo de programación simplificado, tal vez a través de una biblioteca de utilidades en capas; y en qué medida aprovechar el modelo probado de asignación de recursos, sincronización y envío de trabajo de la API Vulkan de nueva generación, lo que quizás conduzca a la opción de una integración perfecta del procesamiento de sensores, ISP y GPU en un único tiempo de ejecución.

Laurent Pinchartes el fundador de Ideas on Board y miembro de un nuevo grupo de trabajo que busca un estándar de visión integrado bajo el paraguas del Grupo Khronos.

Imagen principal: Shutterstock/asharkyu