Програма позволява на слепите да „виждат” чрез звук

Сляп мъж се захваща с неочаквано ново хоби – фотография. Неговата нова страст е благодарение на система, която превръща изображения в последователности от звуци.

Технологията не само дава „поглед” на слепите, но и предизвиква невролозите по отношение на начина, по който смятат, че е организиран мозъкът.

През 1992 г. холандският инженер Петер Мейер създава vOICe, алгоритъм, който превръща прости сиви изображения в „пейзаж” от звуци. (Главните букви звучат като „Oh I see!” – „О, аз виждам!”). Системата сканира изображенията от ляво на дясно, превръщайки фигурите в изображението в звук.

Тези с по-горна позиция отговарят на по-високи звукови честоти. Например диагонална линия, започваща отдолу вляво и завършваща горе вдясно, се превръща в серия от повишаващи се музикални тонове. По-сложни изображения като човек, седящ на люлеещ се стол, в началото звучат като безмислен звук, но с времето ползвателите на системата могат да се научат да „чуват” цялостни картини, пише сп. Science.

През 2007 г. неврологът Амир Амеди и неговите колеги от Еврейския университет на Йерусалим започнали да обучават пациенти, които били родени слепи, да използват vOICe. Въпреки че нямали визуални примери, само след 70 часа тренировки участниците преминали от „чуване” на прости точки и линии до „виждане” на цели изображения като лица и улици, съставени от 4500 пиксела. (За сравнение първата версия на известната видеоигра Mario е съставена от 192 пиксела.)

Чрез свързване на камера на главата с компютър и слушалки слепите дори били способни да ходят в стая, само с помощта на звуковите подксазки. На всеки няколко стъпки системата прави снимка и я превръща в звук, давайки на ползвателя осезание, докато заобикаля маси и кошчета за боклук. Един пациент дори се захванал с фотография, като използвал звуковите насоки да фокусира снимките си.

Тренировъчната програма също отделила 10 часа на разпознаване на човешки силуети представени със звук. Накрая на тренировката участниците можели да определят точната позиция на тялото и да я изимитират, съобщава екипът онлайн в Current Biology.

Когато изследователите направили карта на мозъчната активност на участниците, открили нещо поразително. Приетият модел на мозъка съдържа отделни региони, които са отдадени на всяко сетиво. Изследователите дълго са смятали, че ако тези региони не се използват по предназначение, те се „преквалифицират” за друга употреба.

Например регионът, отговорен за виждането на някой сляп по рождение, помага за подобряване на чуването. Но Амеди и колегите му открили, че регионът, отговорен за разпознаването на силуети при зрящи хора, заработил активно при участниците в изследването, когато те интерпретирали човешки силуети.

Амеди казва, че традиционният модел на сензорна организация на мозъка не може да обясни тази активност, все пак участниците само чували информацията, а учените вярвали, че регионът за разпознаване на силуети не би трябвало да се е развил напълно без визуални примери по време на растежа.

Неврологът Елла Стриим-Амит от Харвардския университет, която е съавтор на труда, смята, че е време за нов модел. „Оказва се, че мозъкът е машина за задачи, а не сетивна машина. Има райони, които обработват силуети с каквато и да е входяща информация – регионът, отговорен за виждането, не обработва само визуална информация”, казва тя.

Йон Файн, учен по неврология в университета във Вашингтон (Сиатъл), който изучава промените в мозъка и не работил по проекта, казва, че работата на Амеди е най-доброто доказателство за функционалната непроменливост – идеята, че регионите в мозъка вършат същата работа с различни видове входяща информация.

„Идеята, че организацията на мозъка на незрящия е директен аналог на организацията на мозъка на зрящия е екстремна – има елегантност, която рядко се вижда на практика. Ако тази хипотеза е вярна, а това е сериозно доказателство, че е, то тогава имаме дълбоко прозрение за мозъка”, казва тя.

В алтернативен мозъчен модел (ориентиран към задачи, а не сетива) части на мозъка, отговорни за близки задачи като реч, четене и език, биха били доста близко свързани.

Екипът на Амеди наскоро създаде наследник на vOICe, наречен EyeMusic, като безплатно приложение за iPhone. Новият алгоритъм създава по-приятни звуци и дори може да даде информация за цвят.

Повече за EyeMusic можете да научите тук.