Добиться необыкновенного результата удалось ученым из Стенфордского университета. Подходы дистанционного написания символов применялись и ранее, однако на этот раз ученые смогли увеличить количество набранных в минуту символов при письме силой мысли. Предыдущие методики предусматривали, что испытуемый выбирает уже написанные буквы на экране, и они никогда не позволяли достичь таких результатов.
Например, подход с так называемым «инвазивным» интерфейсом, который предполагает, что человек с вживленным в мозг чипом силой мысли передвигает курсор и кликает на него, позволил добиться только 40 знаков в минуту. Другой способ, когда мозговое усилие — испытуемый смотрит на символ и компьютер угадывает, на какой именно символ он смотрит — фиксируется с помощью электродов на голове (то есть без нейроимплантации чипа), позволило добиться 60 символов в минуту.
Однако ученые из Стэнфорда пошли по другому пути. Протестировать свою разработку им удалось на парализованном человеке. Ему вживили в головной мозг две матрицы по 96 электродов каждая. К слову, это очень мало: данные матрицы разработали задолго до эксперимента: в прототипе чипа Neuralink от 2019 года, например, 3072 электродов. Однако успех ученых из Стенфорда обусловлен не их количеством, а примененным ими нестандартным подходом.
Они выстроили систему так, чтобы парализованный испытуемый не выбирал уже существующие буквы с экрана, а воображал, что пишет их от руки. Для этого сначала пациенту все же пришлось мысленно писать от руки указанные на экране символы. Тем самым он обучил нейросеть распознавать воображаемые им символы (она получала данные от вживленных в мозг матриц). Затем пациент стал самостоятельно придумывать слова и отвечать на вопросы, уже без обращения к экрану, а нейросеть выводила на экран угадываемые букву за буквой. В итоге скорость набора оказалась более чем в два раза выше, чем у других версий подобных интерфейсов – 90 символов в минуту.
Находка ученых из Стэнфорда состояла в том, что они выбрали рекуррентную, то есть обладающую памятью, нейронную сеть — такая учитывает не только текущие входящие данные, но и свое состояние на предыдущем цикле вычислений. Такие нейросети могут распознавать рукописный текст или речь.
Новую разработку еще будут проверять на других пациентах. Кроме того, не очень понятно, сможет ли нейросеть будет считывать иероглифы, а также символы, которые похожи друг на друга (например, в тамильском языке есть 247 очень близких по написанию символов, а у нейросети уже возникли трудности с различением латинских букв r, v and u).
Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.