Звуки, знайдені за звучанням
Восени 1996 року Ерлінг Волд, Том Блум, Дуглас Кейслар і Джеймс Вітон з берклійської компанії Muscle Fish описали в IEEE MultiMedia систему, що зводить будь-який звук до гучності, висоти, яскравості, ширини смуги й гармонічності. За цими ознаками вона шукає схожі звуки за зразком і відносить нові до класів, навчених на прикладах, на базі з близько 400 файлів.
Чому це важливо
Звук, що не є мовленням, — сміх, дзвін, натовп, тварина — уперше став тим, що можна шукати за змістом, а не за назвою файлу. Система пояснювала свій вибір ознаками, які людина розуміє, і прямо запозичила в пошуку зображень ідею вектора ознак; класи тут задає користувач кількома прикладами.
Тестова база — близько 400 звуків із бібліотек звукових ефектів і семплів інструментів: тварини, машини, інструменти, мовлення, природа, від менше секунди до приблизно півтори секунди. Клас — це середній вектор ознак його прикладів і їхня матриця коваріації; новий звук відносять до класу, до якого відстань, зважена цією коваріацією, найменша. На прикладах сміху, жіночого мовлення й тональних сигналів телефону стаття показує, як база впорядковується за схожістю. Аналіз ознак уже працював у програмі Studio Vision Pro 3.0 від Opcode Systems, що перетворювала запис на MIDI. Чого запис не стверджує: стаття не наводить жодної частки правильних відповідей — лише впорядковані списки. Доповіді Muscle Fish 1995 року (ICMC, воркшоп IJCAI) у літературі названо, але не відкрито. QBIC стаття не цитує.