Sensores CMOS de Visión, Xestión de Enerxía e Seguimento de Obxectos sobre GPUs empotradas

Sensores CMOS de Visión, Xestión de Enerxía e Seguimento de Obxectos sobre GPUs empotradas

Descrición

O noso subproxecto enmárcase no sensado e procesamento no que se coñece como edge ou periferia do sistema, onde a área, tamaño e consumo de potencia están limitados de forma severa.
Na capa de sensado centrámonos no descritor de fluxo local agregado (ALFD) que proporciona unha representación dispersa e enriquecida dos obxectos da escena para o seu procesamento posterior en tarefas como seguimento de obxectos. ALFD é o elemento central do algoritmo NOMT, que se sitúa nos primeiros postos do reto MOT de seguimento de múltiples obxectos, o que garante gran precisión. O obxectivo é implementar ALFD nun sensor CMOS de visión de baixo tamaño, peso e potencia, o que facilitaría o seu uso en infraestruturas ao longo de estradas ou en drons. Durante o deseño xurdirán retos científicos en temas como o deseño de memorias con gran capacidade de retención temporal ou a reutilización de bloques de procesamento en diferentes etapas do algoritmo para diminuír tanto área como consumo de potencia. Introducimos tamén técnicas de recolección de enerxía co obxectivo final de lograr sistemas de visión *CMOS autoalimentados.
A nosa experiencia previa inclúe unha unidade de xestión da enerxía dentro do chip (Power Management Unit, PMU) cunha única saída en voltaxe non regulada no rango de nW a uW. Esta PMU é o punto de partida para unha nova versión con varias saídas en voltaxe reguladas para chegar até os mW. Isto permitiranos abordar aplicacións en internet das cousas (IoT) para monitorización de tráfico, ao tempo que poderemos traballar con voltaxes menores co chip durmido e con voltaxes máis elevadas co chip procesando, o que redunda nunha maior precisión e menor consumo global.
Expomos tamén o deseño dun chip CMOS en tecnoloxía CIS en modo dual, con recolección activa de enerxía coa PMU mellorada discutida anteriormente, e procesamento para seguimento de obxectos mediante substracción de fondo das imaxes captadas.
Na capa de aplicación centrámonos en detección e seguimento de obxectos mediante aprendizaxe profunda (deep learning, DL), onde temos experiencia a través de proxectos de transferencia en aplicacións como cálculo e clasificación de vehículos. Isto permítenos coñecer as especificacións para o deseño de hardware. Neste sentido, exporemos o uso de GPUs embebidas como hardware base, o que tipicamente leva a tempos de deseño máis curtos que a contrapartida ASIC, e por tanto a maior flexibilidade para adaptarse aos continuos cambios no campo de DL. O noso obxectivo final é executar algoritmos do estado da arte, o que garante alta precisión, en sistemas baseados en GPUs alimentados mediante baterías para facilitar o seu uso en tarefas de monitorización de tráfico tanto en postes fixos situados ao longo da vía como en plataformas móbiles como vehículos ou UAVs. Para lograr isto, será necesario redeseñar algúns algoritmos de DL mediante simplificación da estrutura de capas ou a redución do número de bits dos pesos da rede.
En resumo, este proxecto céntrase en sensado e procesado na periferia ou bordo de sistemas, o que esixe baixo consumo sen degradar a precisión, por iso é polo que optásemos por sensores de visión CMOS con xestión eficiente da enerxía e GPUs de baixo consumo. Como ámbito de aplicación, centrámonos en detección e seguimento de obxectos, central a moitas aplicacións de monitorización de tráfico.

Investigadores

Detalles

Data de execución:01/01/2019 - 31/12/2021
Consorcio
  • Instituto de microelectrónica de Sevilla (IMSE-CNM), CSIC (líder)
  • Universidad Politécnica de Cartagena
  • CiTIUS
Financiado porPrograma Estatal de I+D+i Orientada a los Retos de la Sociedad, Ministerio de Economía y Competitividad,
Ministerio de Economía y Competitividad

Programas científicos