Accelerating Bayesian Neural Networks on Low-Power Edge RISC-V Processors

Resumen

Las redes neuronales (NN) son una solución muy popular para tareas de clasificación. A medida que crece la popularidad de combinar el Internet de las Cosas (IoT) con el aprendizaje automático (ML), también conocido como TinyML, se ejecutan más NN en sistemas periféricos de bajo coste. La fiabilidad de las predicciones es crucial para las aplicaciones críticas para la seguridad. Las redes neuronales bayesianas (BNN) abordan este problema calculando métricas de incertidumbre con sus predicciones a costa de aumentar los requisitos informáticos. Este trabajo aborda los retos de ejecutar la inferencia de las BNN en sistemas de bajo coste. Las BNN requieren múltiples repeticiones en las que los pesos se muestrean a partir de distribuciones. Este proceso de muestreo puede ocupar hasta un 85,13% del tiempo de ejecución. Este trabajo optimiza el muestreo de pesos y lo integra dentro de una extensión hardware de bajo coste para una CPU RISC-V, mejorando la velocidad hasta x8,10 y con un ahorro de energía similar.