Компютърна програма превръща романи в музика

Проектът TransProse превръща литературата в музика. TransProse, според описанието, е „първата стъпка“ на софтуер, който открива различни емоции в различни романи и после програмно създава музика, базирана на установените резултати.

Проектът е дело на Хана Дейвис, програмист, художник и музикант от Ню Йорк, чиито интереси включват визуализация на данни и Сейф Мохамад, изследовател от National Research Council Canada.

Неговите интереси са в обработката на естествени езици и по-специално в лексикалната семантика. Той разработва компютърни модели за откриване на емоции, асоциации между думи и цветове, семантична дистанция и лексикално-семантични отношения. Изследователските интереси на авторите са в основата на желанието им да разкрият как дадени романи могат да бъдат превърнати в музика.

Естеството на проекта поставя два въпроса: Може ли емоционалното настроение на един роман да се преобразува в музика? Ще бъде ли годна за слушане тази музика?

TransProse определя относителното съдържание в романа на осем различни емоции и две различни състояния. Емоциите са: радост, печал, гняв, отвращение, предчувствие, учудване, упование и страх. Състоянията са: положително и отрицателно.

Генерираната от компютъра музикална пиеса следва хронологично романа. Той е разделен на четири части: въведение, първа част, втора част и край. Пиесата също има четири части. Тактът на отделните части, темпото, гамата, тоновете, октавите и другите елементи се определят от различни правила и параметри.

Миналия месец двамата изследователи представиха на Европейския конгрес на Асоциацията по компютърна лингвистика, състоял се в Гьотеборг, Швеция, своята статия „Генериране на музика от литература“. В статията те съобщават, че тяхната система може да генерира музика в съответствие с употребата на определени, „емоционални“ думи в подложения на преобразуване роман.

Компютърната програма преминава през три стъпки:

– анализиране на текста и генериране на емоционален профил, натрупване на статистика относно наличието на емоционални думи;

– генериране на темпо, гама, октава, тонове и последователности от тонове;

– и накрая създаване на музикален файл. За целта се използва JFugue, Java API с отворен код. (JFugue позволява на потребителя лесно да експериментира с различни тонове, инструменти и октави.)

Примери на музикални пиеси, генерирани с TransProse, можете да чуете във Phys.Org.

Според авторите на програмата видът на гамата – мажорна или минорна, се определя от съотношението на броя положителни и броя отрицателни думи в преобразувания текст. Например ако това съотношение е по-голямо от единица, може да се използва до мажор. Ако това съотношение е по-малко или равно на единица, може да се използва до минор.

„Текущата версия на TransProse е само началото на нашето изследване – съобщават Дейвис и Мохамад на своя уебсайт, – и ние не твърдим, че правим красива музика, на този етап.“

Изследователите очертават и бъдещите насоки в развитието на работата си. Целта е да се проучат промените на тоналността в рамките на една част от пиесата, хармонията и дисонанса между отделните мелодии.

Друг техен стремеж е да отразят в музиката и активността на литературните герои, когато се борят, танцуват или заговорничат например или когато са относително бездейни. Това трябва да стане посредством допълнителен лексикографски анализ на отделни части от текста.

Повече информация може да получите тук.