Современные передовые методы используют искусственный интеллект для автоматического отслеживания движения частей тела. Однако обучение этих моделей по-прежнему требует много времени и ограничено необходимостью вручную отмечать каждую часть тела сотни и тысячи раз.

Теперь доцент Эйман Азим и его коллеги создали GlowTrack — неинвазивный метод отслеживания движений, в котором для обучения искусственного интеллекта используются маркеры на флуоресцентных красителях. GlowTrack отличается надежностью, экономией времени и высоким разрешением, позволяя отслеживать как одну цифру на лапе мыши, так и сотни ориентиров на руке человека.

Технология, опубликованная в журнале Nature Communications 26 сентября 2023 года, находит применение в биологии, робототехнике, медицине и других областях.

За последние несколько лет в области отслеживания поведения произошла революция, поскольку в лабораториях появились мощные инструменты искусственного интеллекта, — говорит Азим, старший автор работы и заведующий кафедрой развития Уильяма Скандлинга.

Наш подход делает эти инструменты более универсальными, улучшая способы фиксации различных движений в лаборатории. Более точная количественная оценка движений позволяет лучше понять, как мозг контролирует поведение, и может помочь в изучении таких двигательных расстройств, как боковой амиотрофический склероз (БАС) и болезнь Паркинсона.

Существующие методы фиксации движений животных часто требуют от исследователей вручную и многократно отмечать части тела на экране компьютера — трудоемкий процесс, подверженный человеческим ошибкам и нехватке времени. Аннотирование человеком означает, что эти методы обычно могут использоваться только в узкой тестовой среде, поскольку модели искусственного интеллекта специализируются на ограниченном количестве получаемых ими обучающих данных. Например, если изменится освещение, ориентация тела животного, угол наклона камеры или ряд других факторов, модель перестанет распознавать отслеживаемую часть тела.

Для устранения этих недостатков исследователи использовали флуоресцентный краситель для маркировки частей тела животного или человека. С помощью этих «невидимых» флуоресцентных маркеров можно быстро создать огромное количество визуально разнообразных данных и ввести их в модели искусственного интеллекта без необходимости аннотирования человеком. Получив такие надежные данные, модели можно использовать для отслеживания перемещений в гораздо более разнообразных средах и с разрешением, которое было бы гораздо сложнее достичь при ручной маркировке человеком.

Это открывает возможности для сравнения данных о движениях между исследованиями, поскольку разные лаборатории могут использовать одни и те же модели для отслеживания движений тела в различных ситуациях. По словам Азима, сравнение и воспроизводимость экспериментов очень важны в процессе научных открытий.

Флуоресцентные маркеры оказались идеальным решением, — говорит первый автор работы Дэниел Батлер, аналитик Salk по биоинформатике.

Подобно невидимым чернилам на долларовой купюре, которые загораются только тогда, когда вы этого хотите, наши флуоресцентные маркеры можно включать и выключать в мгновение ока, что позволило нам сгенерировать огромное количество обучающих данных.

В будущем команда намерена поддержать различные варианты применения GlowTrack и объединить его возможности с другими инструментами слежения, восстанавливающими движения в трех измерениях, а также с аналитическими подходами, позволяющими исследовать эти огромные массивы данных о движениях в поисках закономерностей.

Наш подход может принести пользу во многих областях, нуждающихся в более чувствительных, надежных и комплексных инструментах для захвата и количественной оценки движений, — говорит Азим.

Мне не терпится увидеть, как другие ученые и не ученые примут эти методы, и какие уникальные, непредвиденные приложения могут появиться.