Изкуственият интелект може да реконструира градския пейзаж въз основа на звука от улиците
Последно: 28 ноември 2024 г. в 16:08
В Тексаския университет в Остин (Юта) невронна мрежа беше научена да реконструира градски пейзаж въз основа на улични звуци. Това уникално човешко умение беше тествано в експерименти, описани в списание Computers, Environment and Urban Systems.
За обучение на генеративен изкуствен интелект са използвани видеоклипове, намерени в YouTube от градове в Северна Америка, Азия и Европа.
Учените са създали 10-секундни аудио фрагменти от тях и са ги сравнили със скрийншотове.
Моделът е тестван в рамките на 100 аудиозаписа, от които изкуственият интелект е генерирал изображения.
Те са сравнени с реални снимки, направени на тези места, като са използвани както компютърен анализ, така и субективни преценки на хората.
AI е оценяван на база пропорции на зеленина, сгради и небе – между оригиналните и нарисуваните изображения, а хората са били помолени да съпоставят една от трите генерирани картини с аудиообразците.
Резултатите показват добра корелация в разпределението на небето и зеленината между изкуствени и реални изображения и малко по-малко в пропорциите на сградите.
Налице е 80% точност при съпоставяне на снимки със звуци.
„Традиционно способността да визуализираме заобикалящата ни среда чрез звуци се смята за уникална човешка способност, отразяваща дълбоката ни сензорна връзка с околната среда. Използването на усъвършенствани AI техники, поддържани от големи езикови модели (LLM), показва, че машините имат потенциала да се доближат до тези човешки сетивни преживявания“, коментират специалистите.
„Това предполага, че AI може да отиде отвъд простото разпознаване на физическата среда, за да обогати потенциално нашето разбиране за човешките субективни преживявания на различни места“, заявява Юхао Канг, асистент в катедрата по география и околна среда в UT.
В генерираните изображения LLM отразява и архитектурните стилове на сградата и нивото на осветеност – слънчево небе, облачни дни или нощи.
Според разработчиците звуците – като натоварен автомобилен трафик или цвърчене на щурци – могат лесно да определят времето на деня.
