Desde los primeros días de los teléfonos inteligentes con unos pocos millones de píxeles hasta las cámaras DSLR y los teléfonos inteligentes actuales con decenas de millones o incluso más de cien millones de píxeles, la búsqueda incesante de una calidad de imagen perfecta ha impulsado los avances iterativos en los dispositivos de imagen. Al fin y al cabo, a la vista de nuestros propios ojos, con sus asombrosos 576 millones de píxeles de resolución, todo parece menos real.
El desarrollo de las cámaras siempre se ha basado en el apoyo de la tecnología ISP (Image Signal Processor). Para la tecnología tradicional de ISP, la captura de escenas nocturnas y escenas de alto rango dinámico (HDR) ha sido particularmente desafiante. Problemas como el ruido, el desenfoque de movimiento, la sobreexposición y la pérdida de información con poca luz en escenas nocturnas dinámicas no solo no satisfacen la creciente demanda de grabación de imágenes, sino que también obstaculizan el progreso de industrias como la videovigilancia y la gestión del tráfico.
Sin embargo, la tecnología sigue rompiendo barreras, siempre superando nuestra imaginación. Si bien la gente sigue criticando las fallas de los ISP tradicionales, el rápido progreso de la IA nos ofrece más posibilidades. La aparición de la tecnología AI-ISP hace posible la obtención de imágenes a todo color de alta definición en condiciones de muy poca luz. Las cámaras están pasando de "ver" a "ver con claridad" e incluso a "entender" las escenas que capturan.
La era de la "verdadera luz negra" está oficialmente sobre nosotros.
"True Blacklight", potenciando el IoT inteligente
Hablemos de "True Blacklight". Basándose en los diferentes efectos de visión nocturna, las cámaras pueden distinguirse por varios nombres, como luz baja, luz estelar, superluz estelar y luz negra. Estos términos no tienen un estándar unificado, pero la atención se centra en si la cámara puede mantener imágenes a todo color en condiciones de poca luz. Generalmente, "nivel de luz negra" significa que la cámara puede funcionar a 0,01 lux o menos.
Tradicionalmente, lograr efectos de luz negra implicaba el uso de sensores de gran formato, sensores de baja resolución con tamaños de píxel más grandes, aumentar el tamaño de apertura o reducir la velocidad de fotogramas de video para capturar más información de luz y color por la noche. Sin embargo, estos métodos a menudo daban como resultado una saturación de color inferior al 100%, artefactos de movimiento y un aumento de los costos debido a sensores y aperturas más grandes, que no podían satisfacer completamente las demandas de la industria.
En otras palabras, "no puedes tener tu pastel y comértelo también" en ambientes extremadamente oscuros.
Sin embargo, existe una solución con tecnología AI-ISP que hace realidad las verdaderas imágenes a todo color con luz negra. Las cámaras equipadas con AI-ISP pueden lograr la restauración del color en tiempo real a menos de 0,01 lux sin necesidad de luz blanca o iluminación infrarroja. La saturación del color se mantiene igual o superior al 100 % y los objetos en movimiento aparecen sin problemas significativos de seguimiento, efecto fantasma o perspectiva. Según los expertos, solo cumpliendo con los siguientes seis elementos clave se puede llamar "True Blacklight" y realmente ayudar a los usuarios a lograr un mejor rendimiento de video en escenarios extremadamente oscuros.
!["AI-ISP_six_key_elements.jpg"]("/uploads/image/20230728/AI-ISP_six_key_elements.jpg" "\"AI-ISP_six_key_elements.jpg\"")
Gracias al avance de "True Blacklight", las ciudades inteligentes y el IoT inteligente han ampliado sus escenarios de aplicación. En entornos extremadamente oscuros como intersecciones, montañas, estanques y tierras de cultivo, se puede mejorar el brillo del video sin sacrificar la calidad de la imagen, lo que permite que las cámaras capturen videos en color bien estructurados y con colores restaurados con precisión. Además, esta tecnología logra efectos de video de escena completa, lo que proporciona un análisis inteligente más preciso en lugares como estanques y tierras de cultivo donde la iluminación complementaria no es factible.
módulos clave potenciados por IA, optimizados para bordes: maximizando el rendimiento
de AI-ISP
ISP son las siglas de Image Signal Processor (Procesador de Señal de Imagen), responsable de convertir las señales de los sensores de imagen en información reconocible para humanos y máquinas. Desempeña un papel crucial en la calidad de la imagen. En una analogía humana, el ISP funciona como el cerebro del sistema de imágenes, procesando, mejorando y mejorando las imágenes recopiladas por el sensor de la lente para ofrecer una calidad de imagen verdadera o incluso mejor.
El ISP tradicional toma la salida de datos sin procesar de los sensores CIS y la convierte en datos YUV legibles por humanos siguiendo una secuencia de canalización específica. El procesamiento de imágenes en los ISP tradicionales se basa en el modelado matemático y en la comprensión ingenua de las imágenes por parte de los humanos. Por el contrario, AI-ISP, un concepto tecnológico reciente, se basa en la canalización tradicional de ISP, pero supera sus limitaciones utilizando redes neuronales de IA. Al simular el cerebro humano con parámetros más ricos y establecer modelos más complejos, AI-ISP supera el techo de los ISP tradicionales, logrando una calidad de imagen superior.
En la actualidad, AI-ISP potencia los cuatro módulos críticos de la canalización de ISP (HDR, 3DNR, RLTM y Demosaic) mejorando continuamente su rendimiento a través del entrenamiento de IA. Este avance en AI-ISP rompe las limitaciones de las imágenes tradicionales de ISP.
La razón por la que se opta por potenciar la IA de los módulos clave es que la potencia de cálculo del borde suele ser limitada. Teniendo en cuenta la implementación práctica con preocupaciones sobre el consumo de energía y los costos, no es factible aplicar el procesamiento de IA a toda la canalización. AI-ISP, en esencia, está más cerca de la verdadera productización, ya que enfoca la IA en las funcionalidades más críticas y visualmente discernibles, haciendo el mejor uso de la potencia de cómputo limitada para un rendimiento óptimo de AI-ISP.
Por lo tanto, en aplicaciones prácticas, AI-ISP puede mejorar el rendimiento mediante la iteración de modelos visuales, lo que facilita las actualizaciones rápidas de los productos de chip en términos de calidad de imagen. Esto significa que un solo chip puede cubrir diferentes escenarios y mercados, lo que reduce los costos generales de las aplicaciones de IA y mejora significativamente la productividad.
Actualmente, no solo continuamos optimizando e iterando los algoritmos de IA relacionados con HDR, 3DNR, RLTM y Demosaic, sino que también estamos explorando el empoderamiento de la IA de otros módulos en la canalización tradicional de ISP. Además, para cumplir con los requisitos de alta potencia informática de AI-ISP, también hemos desarrollado de forma independiente una NPU de precisión mixta, lo que acelera aún más la eficiencia del desarrollo y la implementación de IA.
Con respecto a la relación entre AI-ISP y "True Black Light", los expertos señalan que en la era de la luz negra de 0,01 lux, simplemente mejorar las lentes y los sensores no puede abordar los problemas fundamentales. Los ISP tradicionales no pueden satisfacer las demandas de avance tecnológico de la luz negra, lo que lleva a varios enfoques engañosos, como la reducción de la velocidad de fotogramas y el aumento de la iluminación suplementaria. Creen que una cámara a todo color calificada con luz negra verdadera debería garantizar un rendimiento en tiempo real (25-30) fps sin necesidad de iluminación adicional en escenarios de 0,01 lux, distinguir con precisión los objetos en movimiento y reproducir fielmente los colores. Esta es precisamente la ventaja distintiva de AI-ISP.
De hecho, fue en 2020 cuando AI-ISP entró oficialmente en el mercado, lo que llevó al rápido desarrollo de la nueva categoría de "Cámaras a todo color de luz negra verdadera".
Como podemos ver, con la creciente demanda de una mayor calidad de imagen en escenarios extremos como poca luz, alta dinámica y contaminación lumínica, AI-ISP se está volviendo cada vez más crucial en el campo de las imágenes visuales de inteligencia artificial. Al abordar de manera innovadora los principales puntos débiles de la industria relacionados con la poca luz y la alta dinámica, AI-ISP ha creado nuevas categorías de productos como la cámara a todo color True Black Light, que desbloquea nuevas posibilidades visuales para las personas. En el futuro, incluso puede llevarnos a una nueva era de imágenes.
