i-Caveats-E: Sistemas de visión integrados para a extracción de características, con recolección e xestión enerxética on-chip, para prataformas móbiles non tripuladas

i-Caveats-E: Sistemas de visión integrados para a extracción de características, con recolección e xestión enerxética on-chip, para prataformas móbiles non tripuladas

Descrición

A incorporación de sistemas de visión embebida en plataformas para o transporte intelixente de persoas e mercadorías ou en aplicacións de vixilancia, seguridade e defensa suporía un importante salto tecnolóxico. Con todo, a implementación da visión artificial mediante un sistema compacto, autónomo e cun baixo consumo de potencia non é un problema sinxelo de resolver. O estímulo visual contén unha cantidade inxente de datos. Para procesalos é preciso desenvolver un esforzo computacional considerable, o que en termos prácticos significa ser capaz de realizar varios millóns de operacións por segundo. Conseguir estas prestacións cun orzamento enerxético restrinxido é moi complicado. Nun esquema convencional, no que trala captura das imaxes procédese á súa dixitalización e almacenamento en memoria para despois ser procesadas, atopariámonos con especificacións imposibles para o sensor, para o convertidor analóxico/dixital, para o procesador e a memoria.
Unha alternativa viable, como evidenciamos en traballos anteriores, consiste en aproveitar o paralelismo inherente ás tarefas de visión temperá. Para iso trasladariamos parte do procesamento de baixo nivel ao plano focal. Unha implementación distribuída dos recursos de procesamento suporía evitar a transmisión de datos dende e cara á memoria de imaxes. Doutra banda, se se usan bloques de circuíto analóxicos e de sinal mixto, estes poden ser moi eficientes. O principal problema desta aproximación é que unha implementación ad hoc carece da flexibilidade necesaria para trasladala a outros campos de aplicación, e ademais resulta difícil de manexar para os expertos en visión artificial e desenvolvedores de aplicacións que traballan coa información en niveis de abstracción máis altos. Tanto é así que se constituíu moi recentemente un importante consorcio industrial para a creación de estándares para a aceleración hardware da visión por computador e o procesamento de sinais sensoriais. O estándar OpenVX consiste precisamente na definición dunha capa previa ao hardware para ser utilizada polos desenvolvedores de aplicacións de visión que precisen dunha optimización do consumo de potencia.
Este proxecto ten como intención capitalizar o coñecemento previo dos nosos grupos de investigación mediante o desenvolvemento dunha librería de compoñentes e arquitecturas en hardware compatibles con este esquema de implementación de sistemas de visión integrados, de propósito xeral e con baixo consumo de potencia. Nesta librería incorporaremos bloques de procesamento a baixo e medio nivel, novas capacidades sensoras como o cálculo de fotóns ou a estimación directa e indirecta do tempo de voo, e aspectos de sistema como a xestión da enerxía e a interface con outros chips de procesamento dixital de sinal. Exploraremos alternativas tecnolóxicas que permitan unha implementación eficiente das funcións definidas no estándar OpenVX, de modo que resulten transparentes ao desenvolvedor de aplicacións e ao programador de algoritmos de visión artificial.
Para demostrar a utilidade desta metodoloxía imos construír un sistema de visión nun único chip para aplicacións de transporte e seguridade, e desenvolveremos contornas de demostración que nos permitan expoñer o potencial desta aproximación á visión embebida.

 

Obxectivos

Os obxectivos principais deste subproyecto céntranse en:

  1. A xestión e recolección de enerxía no mesmo substrato de silicio onde se adquire a imaxe.
  2. O procesamento xerárquico de extracción de características en imaxes.
  3. A súa aplicación para a localización e mapeado simultáneo de tipo visual (V-SLAM) nunha plataforma UAV.

En canto ao primeiro obxectivo, deseñaremos un circuíto integrado en tecnoloxía CMOS estándar de 0.18 micras con capacidade de adquisición de imaxes e recolección de enerxía solar. Exploraremos mediante simulación a nivel de dispositivo a estrutura fotosensora e de recolección de enerxía máis idónea. Así mesmo, deseñaremos unha unidade de xestión da enerxía, composta de convertidores DC/DC con capacidades en conmutación, unha unidade de seguimento de transferencia de máxima potencia e condensadores de almacenamento.

O obxectivo é deseñar unha estratexia de cambio no modo de recolección de enerxía a modo adquisición de imaxe suficiente para obter un chip de adquisición autoalimentado coa enerxía solar. Nesta aproximación será necesario tamén aplicar técnicas de redución ou de baixo consumo de potencia.
O segundo obxectivo céntrase no deseño da circuitería do camiño de datos dun extractor de características que combine o detector FAST co descriptor BRIEF, co obxectivo de implementar seguimento de obxectos móbiles (tracking). A combinación FAST-BRIEF garante alta velocidade fronte a outras combinacións de detectores e descriptores de características. A combinación FAST-BRIEF implica deseñar circuítos no plano focal, posiblemente no dominio analóxico, para a obtención dos puntos característicos do detector FAST, e circuítos dixitais para a parte do descriptor BRIEF e a procura de correspondencias entre puntos característicos de dúas imaxes para facer tracking. Estes circuítos cumprirán co estándar OpenVX e formarán parte dun chip con máis funcionalidade que combine operadores de baixo nivel e nivel intermedio, e deseñado de forma conxunta polos tres equipos do proxecto. Na metodoloxía para deseñar a circuitería da combinación FAST-BRIEF, avaliaremos primeiro o seu rendemento sobre a plataforma comercial Parallela, para posteriormente sintetizar o descriptor BRIEF en VHDL, e finalmente en circuíto integrado. Propoñémonos tamén dentro deste segundo obxectivo aplicar técnicas dinámicas de escalado de tensión aos distintos bloques funcionais ou operadores de nivel medio, tomando como punto de partida os convertidores DC/DC deseñados para recolección de enerxía.

Finalmente, o terceiro obxectivo refírese á integración do chip de detección de características que combine operadores de baixo e medio nivel nunha plataforma UAV para realizar SLAM visual cando menos a 10 imaxes por segundo.

 

Detalles

Data de execución:01/01/2016 - 31/12/2018
Consorcio
  • Instituto de microelectrónica de Sevilla (IMSE-CNM), CSIC (líder)
  • Universidad Politécnica de Cartagena
Financiado porPrograma Estatal de I+D+i Orientada a los Retos de la Sociedad, Ministerio de Economía y Competitividad, TEC2015-66878-C3-3-R
Ministerio de Economía y Competitividad Fondo Europeo de Desarrollo Regional (FEDER)
PO FEDER Galicia 2014-2020 "Unha maneira de facer Europa"