RockChip-SBC-workshop

Материалы воркшопа по практическому использованию RockChip NPU. Попробуем разобраться с AI-ускорителем от компании RockChip. Узнаем, на что он способен и как его использовать в собственных проектах.

Работать будем с платой OrangePi 5

Примеры успешных эспериментов

Программа воркшопа

1. введение в одноплатники с AI-ускорителями (на примере железок на базе Rockchip)
2. развертывание рабочего окружения
3. конвертация и запуск обученной модели из RKNN model zoo
4. (опционально) обучение собственной модели
5. (опционально) более продвинутые рекомендации по использованию NPU
6. (опционально) интеграция модели с ROS2

Оценка по времени: 3-7 часов (в зависимости от желания погрузиться в дополнительные темы и общего темпа работы)

Базовая документация по библиотеке RKNN-Toolkit2

https://github.com/airockchip/rknn-toolkit2/

https://github.com/airockchip/rknn-toolkit2/blob/master/doc/01_Rockchip_RKNPU_Quick_Start_RKNN_SDK_V2.2.0_EN.pdf

https://github.com/airockchip/rknn-toolkit2/blob/master/doc/02_Rockchip_RKNPU_User_Guide_RKNN_SDK_V2.2.0_EN.pdf

https://github.com/airockchip/rknn-toolkit2/blob/master/doc/02_Rockchip_RKNPU_User_Guide_RKNN_SDK_V2.2.0_CN.pdf

Пример использования нейросети Yolov5

https://github.com/airockchip/rknn_model_zoo/tree/main/examples/yolov5

https://docs.radxa.com/en/rock5/rock5b/app-development/rknn_toolkit_lite2_yolov5

Более продвинутый пример многопоточной обработки видео

https://github.com/thanhtantran/rknn-multi-threaded-3588/blob/main/main.py

В планах

Интеграция с ROS2