- Регистрация
- 23 Авг 2023
- Сообщения
- 3,969
- Реакции
- 0
- Баллы
- 36
Ofline
Всем привет, меня зовут Дмитрий Грибанов, я член команды преподавателей курса «Нейронауки и нейроинтерфейсы» в Центральном университете. Этот предмет является одним из вариантов большого набора STEM-курсов по выбору, где студенты учатся не только технической составляющей, но и интердисциплинарности и командной работе.
Наш курс могли выбрать второкурсники бакалавриата с трёх разных направлений: «Искусственный интеллект», «Бизнес-аналитика» и «Разработка». Главная фича тут – работа с реальным оборудованием, где студентам предлагалось устроить настоящие гонки на машинках, управляемых силой мысли.
Соревнование по управлению машинкой с помощью биосигналов мозга
Вместе со мной над программой курса работали невероятно сильные эксперты: Яна Венерина и Сергей Климанов.
Яна погружала студентов в нейрофизиологию мозга и помогала выстроить общее видение возможных перспектив этой области: от понимания того, как устроены нейроны и что такое ЭЭГ, до обсуждения, какие нейротехнологии могут стать частью нашей повседневности в ближайшие годы. Сергей, как лид курса, отвечал за глубокий заход в алгоритмы обработки сигналов мозга с помощью MNE-Python: от «сырых» данных до работающих пайплайнов обработки и классификации с помощью машинного обучения.
А я хотел бы подробнее рассказать про свою часть — командную проектную работу, где студентам предстояло применить все полученные знания, чтобы построить управление машинками, с помощью нейроинтерфейсов.
В качестве эксперимента мы поставили перед студентами конкретную цель: собрать систему, в которой мысли оператора управляют движением машинки. Из реквизита у нас было:
Задача выглядела так:
Регламент финальных гонок мы специально держали в секрете, чтобы у команд был стимул сделать систему максимально устойчивой и гибкой, а не «заточенной» под заранее известный сценарий.
Две машинки на основе ESP32, ими управляли студенты в ходе проекта
Мы сразу строили программу так, чтобы теорию студенты сразу пробовали на практике. На первой неделе студенты осваивали работу с нейроинтерфейсом:
Главная цель тут: почувствовать, что ЭЭГ – это вполне реальные сигналы, с которыми можно работать здесь и сейчас. И у студентов это хорошо получалось.
На второй неделе мы перешли к осмысленной обработке данных:
Студенты пробовали разные подходы, сравнивали результаты и учились распознавать где алгоритм действительно что-то «понимает», а где просто подстраивается под шум.
Студенты разбираются с получением данных с нейроинтерфейса в реальном времени
Третья неделя была посвящена мосту между «миром мозга» и «миром железа»:
Именно на этом этапе становилось ясно, насколько важна надежность всего пайплайна: от качества нейросигнала до стабильности соединения с ESP32.
На четвертой неделе наступал кульминационный момент — гоночные заезды. Каждой команде было необходимо:
Мы засекали время и для дополнительной мотивации объявили приз для самой быстрой команды. В итоге финальный забег превратился в яркое событие. Многие отметили этот заезд как один из самых крутых моментов курса.
В процессе мы довольно четко увидели, что у лучших команд были общие стратегические решения. Залог успеха обычно складывался из трех шагов:
Комбинация этих шагов делала систему устойчивой и помогала студентам полностью выполнить поставленную перед ними задачу.
Кто-то из студентов притащил с собой гель для для обеспечения качественного контакта между кожей головы и электродами
«Нейронауки и нейроинтерфейсы» вышел необычным и интересным курсом. Студенты с разных направлений вместе знакомились с миром нейронаук, трудились над командным проектом, пытаясь управлять машинкой силой мысли. Мне кажется, такого вы точно не увидите где-то в других вузах. Хочу поблагодарить всех, кто был причастен к запуску и проведению этого курса. Отдельное спасибо команде Neiry за помощь и поддержку.
P.S. Если вам стало интересно, как же происходило управление машинкой с точки зрения алгоритма и кодинга – дайте знать в комментариях. До встречи!
Наш курс могли выбрать второкурсники бакалавриата с трёх разных направлений: «Искусственный интеллект», «Бизнес-аналитика» и «Разработка». Главная фича тут – работа с реальным оборудованием, где студентам предлагалось устроить настоящие гонки на машинках, управляемых силой мысли.
Соревнование по управлению машинкой с помощью биосигналов мозга
Вместе со мной над программой курса работали невероятно сильные эксперты: Яна Венерина и Сергей Климанов.
Яна погружала студентов в нейрофизиологию мозга и помогала выстроить общее видение возможных перспектив этой области: от понимания того, как устроены нейроны и что такое ЭЭГ, до обсуждения, какие нейротехнологии могут стать частью нашей повседневности в ближайшие годы. Сергей, как лид курса, отвечал за глубокий заход в алгоритмы обработки сигналов мозга с помощью MNE-Python: от «сырых» данных до работающих пайплайнов обработки и классификации с помощью машинного обучения.
А я хотел бы подробнее рассказать про свою часть — командную проектную работу, где студентам предстояло применить все полученные знания, чтобы построить управление машинками, с помощью нейроинтерфейсов.
Важные определения
Задача: устроить гонки с помощью сигналов мозга
В качестве эксперимента мы поставили перед студентами конкретную цель: собрать систему, в которой мысли оператора управляют движением машинки. Из реквизита у нас было:
два нейроинтерфейса Neiry HeadBand Pro,
две машинки на основе ESP32.
Задача выглядела так:
Считать сигналы с нейроинтерфейса.
С помощью MNE-Python обработать эти сигналы и передать их в классификатор.
Превратить результат классификации в команды
Передать эти команды на машинку (ехать вперёд или назад)
Научиться управлять машинкой силой мысли
Регламент финальных гонок мы специально держали в секрете, чтобы у команд был стимул сделать систему максимально устойчивой и гибкой, а не «заточенной» под заранее известный сценарий.
Две машинки на основе ESP32, ими управляли студенты в ходе проекта
Как был устроен проект: 4 недели насыщенной практики
Мы сразу строили программу так, чтобы теорию студенты сразу пробовали на практике. На первой неделе студенты осваивали работу с нейроинтерфейсом:
учились измерять импеданс электродов,
снимали ЭЭГ-сигналы,
строили PSD (power spectral density),
проходили процедуру калибровки.
Главная цель тут: почувствовать, что ЭЭГ – это вполне реальные сигналы, с которыми можно работать здесь и сейчас. И у студентов это хорошо получалось.
На второй неделе мы перешли к осмысленной обработке данных:
фильтрация сигналов,
выделение информативных признаков,
первые простые классификаторы для разделения состояний.
Студенты пробовали разные подходы, сравнивали результаты и учились распознавать где алгоритм действительно что-то «понимает», а где просто подстраивается под шум.
Студенты разбираются с получением данных с нейроинтерфейса в реальном времени
Третья неделя была посвящена мосту между «миром мозга» и «миром железа»:
работа с ESP32,
управление машинкой (движение вперед/назад),
интеграция нейроинтерфейса и машинки в единую экосистему.
Именно на этом этапе становилось ясно, насколько важна надежность всего пайплайна: от качества нейросигнала до стабильности соединения с ESP32.
Финальные гонки
На четвертой неделе наступал кульминационный момент — гоночные заезды. Каждой команде было необходимо:
Доехать из точки А в точку Б (движение вперед),
Вернуться обратно в точку А (движение назад).
Мы засекали время и для дополнительной мотивации объявили приз для самой быстрой команды. В итоге финальный забег превратился в яркое событие. Многие отметили этот заезд как один из самых крутых моментов курса.
Три ключевых фактора успеха команды
В процессе мы довольно четко увидели, что у лучших команд были общие стратегические решения. Залог успеха обычно складывался из трех шагов:
Грамотный выбор «телеоператора»:
Нужно было подобрать человека, у которого сигнал читается стабильно: хороший контакт электродов, минимальные помехи, особенности волос и кожи головы и т.д.
Тонкая настройка алгоритма под этого оператора:
Нужно было подогнать алгоритм под конкретного человека и его паттерны активности.
Тестовые заезды:
Многократные прогоны до финала помогали выявить странности в поведении системы, подправить код и алгоритмы
Комбинация этих шагов делала систему устойчивой и помогала студентам полностью выполнить поставленную перед ними задачу.
Кто-то из студентов притащил с собой гель для для обеспечения качественного контакта между кожей головы и электродами
Итоги
«Нейронауки и нейроинтерфейсы» вышел необычным и интересным курсом. Студенты с разных направлений вместе знакомились с миром нейронаук, трудились над командным проектом, пытаясь управлять машинкой силой мысли. Мне кажется, такого вы точно не увидите где-то в других вузах. Хочу поблагодарить всех, кто был причастен к запуску и проведению этого курса. Отдельное спасибо команде Neiry за помощь и поддержку.
P.S. Если вам стало интересно, как же происходило управление машинкой с точки зрения алгоритма и кодинга – дайте знать в комментариях. До встречи!