Автоматизированные заголовки YouTube были улучшением за последние несколько лет, и они могут теперь даже обнаружить и добавить информацию о звуковом эффекте.

«Эффект аудио на нашем восприятии мира может едва быть завышен. Его важность как коммуникационная среда с помощью речи является, очевидно, самой знакомой, но есть также значительная информация, переданная окружающими звуками. Эти окружающие звуки создают контекст, что мы инстинктивно отвечаем на, как то, чтобы быть пораженным внезапным волнением, использование музыки как элемент рассказа, или как смех используется в качестве сигнала аудитории в ситкомах», пишет Кисловатый Каудури YouTube в сообщении в блоге.

Автоматические заголовки были введены назад в 2009, и они сосредоточились в большой степени на расшифровке речи, чтобы сделать содержание принятым более доступный. Но без подобных описаний для окружающих звуков в видео, значительно уменьшено воздействие некоторых видео.

Нейронная сеть, помещенная в работу

Подвиг возможен благодаря сотрудничеству между YouTube, Четким пониманием и Доступностью, кто начал задачу разработать самую первую автоматическую систему ввода субтитров звукового эффекта для YouTube. Они использовали тысячи часов видео, чтобы обучить глубокую модель нейронной сети достигать высококачественных результатов признания.

«В результате мы можем теперь автоматически обнаружить существование этих звуковых эффектов в видео и расшифровать его, чтобы адаптировать классы или звуковые этикетки. С таким количеством звуков, чтобы выбрать из, мы начали с [АПЛОДИСМЕНТОВ], [МУЗЫКИ] и [СМЕХА], так как они были среди самых частых вручную озаглавленных звуков, и они могут добавить значащий контекст для зрителей, которые являются глухими и слабослышащими», сообщение в блоге читает.

Есть все еще намного больше, чтобы продолжить работать, но даже это - большое дополнение. Ранее в этом году YouTube объявил, что достиг своего 1 миллиардного видео с автоматическими заголовками. Данный, сколько людей смотрит ролики на YouTube, этот тип заголовков мог пригодиться для многих из них.

Вдобавок к этому YouTube говорит, что во время некоторых пользовательских исследований, две трети участников сказали, что новые заголовки звукового эффекта увеличивают общий опыт.

Хотелось бы надеяться, поскольку система узнает больше и больше, мы будем видеть еще более сложные дополнения к этой системе ввода субтитров.