Vingspårning av insekter med eventkameror och AI
I en grupp på fyra byggde vi en pipeline som spårar en insekts vingspetsar med en eventkamera. Målet är låg latens, så att forskare i framtiden kan styra en virtuell miljö för insekten i realtid.
Fem synkroniserade höghastighetskameror och en SLEAP-modell gav träningsdata till ett lätt neuralt nätverk (MLP) som läser eventdata i 5 000 Hz.
Min del: jag satte upp modellerna för eventkamerorna och tog fram den ground truth-data som nätverket tränades på.
Rapport: Multi-kilohertz tracking of insect wings using event-based cameras and sensor fusion.
