Статья «157 конгресс AES – научные результаты»

Автор: Ирина Алдошина

С 8 по10 октября 2024 года в Нью-Йорке прошел очередной 157 конгресс AES. Конгресс проводился в большом центре Джакоба Джавитца и включал в себя обычный набор мероприятий: научную сессию, заседания научных семинаров, технических кмитетов. студенческие мероприятия, выставку и пр.

Традиционную мемориальную Хайзеровскую лекцию прочитали два специалиста – Энтони Анджелло, директор фирмы Eventide и «AES Fellow», и Ричард Фактор, один из основателей фирмы Eventide. Оба уже полвека работают в аудио. Доклад был посвящен проблемам развития цифровой техники и ограничениям, которые она накладывает. В современной звукозаписи аналоговыми остаются только громкоговорители и микрофоны, попытки сделать их цифровыми предпринимаются, но пока не очень успешно.

На научной сессии было представлено 78 докладов, из них можно выделить следующие.

Доклад специалистов из университета McGill University (Канада) под руководством профессора Веслава Вошчика «Общий обзор методов создания импульсной характеристики в помещении» (пр. 305) был посвящен проблемам применения глубинных нейронных сетей к расчету импульсных характеристик. Авторы привели обзор методов, применяемых в настоящее время в базовых программных комплексах (EASE, CATT, ODEON). Среди них метод мнимых источников, стохастический метод лучей, гибридный метод и др. Авторы сосредоточили внимание на развитии с 2014 по 2024 годы методов расчета импульсных характеристик в помещениях с помощью глубинных нейронных сетей. Из обзора используемых в настоящее время для этих целей нейронных сетей был выполнен сравнительный анализ таких цепей, как Generative Adversarial Network (GAN), Convolutional Neural Networks (CNN), Physics-Informed Neural Network (PINN), Acoustical Parameter Estimation (APE), DIR (Deep Impulse Responses). Показаны принципы их построения, методы обучения, сравнение полученных результатов по вычислению импульсных характеристик с результатами, полученными методами геометрической акустики, определены погрешности, намечены пути дальнейшего развития нейронных цепей в архитектурной акустике.

Доклад «Обзор измерений импульсных характеристик головы – HRIR» (пр. 292) представляет обзор существующих методов измерения HRIR (Head—Related Impulse Responses – прим. ред), которые производятся в заглушенных камерах методом Discrete stop-and-go method, предусматривающим использование одного громкоговорителя и запись на микрофоны в ушах слушателя передаточных функций при разных углах поворота громкоговорителя. Из передаточных функций рассчитываются методом Фурье импульсные характеристики. Метод трудоемкий, поэтому в последнее время появились новые методы, например, такие, как множественный экспоненциальный скользящий метод Multiple Exponential Sweep Method (MESM) и обратный метод (the reciprocal method). Метод MESM использует несколько громкоговорителей, воспроизводящих скользящий тон. Суммарный сигнал создается методом чередования и наложения, что значительно ускоряет процесс. Обратный (или двусторонний) метод предлагает использование маленького громкоговорителя, установленного в ухе, и запись сигнала сферической системой микрофонов. Метод имеет ограничения по низкой частоте и отношению сигнал-шум. В докладе также приводятся методы измерения индивидуальных HRIR, а также методы измерений в незаглушенных помещениях (с активным подавлением отражений), интенсивно развивающиеся в последние годы.

В японском докладе «Создание репрезентативной импульсной характеристики для бинаурального воспроизведения движущихся аудиообъектов» (пр. 255) предлагается уменьшить вычислительные сложности при свертке HRIR с музыкальными сигналами при 3D-звуковом воспроизведении в системах виртуальной реальности. Для этого предлагается распределить сигналы по предпочтительном направлениям, выбранном при панорамировании. Только эти сигналы свертываются с соответствующими HRIR. Этот метод дает гладкие переходы и минимальную деградацию сигнала при прослушивании движущихся источников звука.

Доклад «Измерение и применение направленных импульсных характеристик (DRIR) для пространственного звукового воспроизведения» (пр. 284) представляет новый метод измерения импульсных характеристик в помещении с использованием коммерческого 3D-звукового измерителя скорости в трех направлениях и скалярного звукового давления, а также «искусственной головы» (рис. 1) в отличие от измерений RIR ненаправленным микрофоном. Представленные измерения дают пространственную импульсную характеристику DRIR с информацией о первых отражениях в помещении.

Китайский доклад «Влияние междуушной временной (ITD) и интенсивностной (ILD) разницы на звуковую локализацию в горизонтальной плоскости» (пр. 308) представил результаты очень тщательных экспериментов по изучению влияния ITD и ILD (Interaural Time Difference и Interaural Level Difference – прим. ред.) и их различных комбинаций на локализацию звука в различных частотных диапазонах. Данные эти были получены давно, но их проверка с помощью современной аппаратуры очень полезна для звукозаписи. Было исследовано влияние различных комбинаций ITD и ILD на воспринимаемый угол при локализации на разных частотах (пример на частоте 1000 Гц показан на рис. 2).

Доклад Стефана Файстеля (директора берлинской фирмы AFMG Technologies GmbH) и др. «Акустическое моделирование и конструкция системы озвучивания в дорожных тоннелях» (пр. 257) содержит подробное описание системы озвучивания в дорожных тоннелях. Построение таких систем представляет значительные трудности из-за большой реверберации, высокого уровня шумов и трубообразной геометрии. Представленный проект включает несколько тоннелей общей длиной 33 км, предполагает проведение измерений времени реверберации, уровня шумов и разборчивости. Для всех тоннелей с помощью программы EASE была создана компьютерная модель и рассчитаны параметры системы озвучивания, включающие в себя распределенную систему громкоговорителей (рис. 3).

Второй доклад тех же авторов «Моделирование звукового излучения открытых звуковых систем» (пр. 261) излагает теоретическую модель для расчета открытых концертных и других площадок, включающую расчет дальнего звукового поля от акустических систем на базе существующих программных продуктов, совместно с использованием программ для моделирования шума. В докладе предлагается использовать специальный интерфейс между инструментами моделирования. Предлагаемый продукт был проверен с помощью измерений на открытой концертной площадке, и показал достаточную для практики точность расчета параметров.

Английский доклад «Предсказание субъективного рейтинга вкладных телефонов категории Hi—Fi с использованием акустической метрологии» (пр. 10180) был посвящен проблеме субъективной оценки семи высококачественных вкладных телефонов, предназначенных для музыкантов. Несколько профессиональных музыкантов оценивали затухание и ясность музыки (параметр С80) через эти телефоны в сравнении с обычными. Эти оценки сравнивались с измеренными в лаборатории параметрами, Результаты показали, что плоская АЧХ не является определяющим фактором, скорее этим параметром является существенное уменьшение шума. (Здесь и далее автор называет «вкладными телефонами» то, что в международной практике именуется earplugs – прим. ред.)

Доклад «Сравнение АЧХ вкладных телефонов для симулятора речи фирмы Brüel & Kjær» (пр. 10193) показал, что слушателей по результатам субъективных экспертиз можно разделить на две категории: одни (72%) предпочитают типовую кривую, другие (28%) предпочитают снижение низких частот на 2 дБ и повышение высоких на 2 дБ.

Немецкий доклад из Fraunhofer Institute «Миниатюризация полнодиапазонных MEMS— громкоговорителей для вкладных телефонов» (пр.298) представляет новую конструкцию громкоговорителя MEMS (микроэлектромеханические системы – прим. ред.), использующую пьезоэлектрический изгибный актюатор (рис. 4), окруженный герметичным акустическим экраном. Несмотря на малые размеры (2.4 x 2.4 мм) громкоговоритель обеспечивает давление до 105 дБ и уровень нелинейных искажений до 0.4% при уровне 90 дБ.

В докладе «Эволюция звукового окрашивания в телефонах для мониторинга» (пр. 274) приводятся результаты сравнительных прослушиваний закрытых и открытых телефонов и сравнение их с контрольным прослушиванием через громкоговорители. Установлено, что прямой связи результатов с формой АЧХ телефонов практически нет, подбор типа телефона для мониторинга надо проводить индивидуально. (Здесь автор именует телефонами то, что называется headphones или на бытовом языке «наушники» — прим. ред.)

Доклад «Стереотелефоны или громкоговорители: поиск более эффективных мониторинговых систем» (пр. 295) излагает результаты экспериментов на основе субъективных прослушиваний группой опытных студентов-звукорежиссеров (6 чел.) с целью определения преимуществ при микшировании через стереотелефоны или громкоговорители. Результаты показали, что с энергетической точки зрения обе системы сравнимы, предполагается дальнейшие исследования по увеличению количества экспертов и расширении числа параметров для сравнения.

В докладе «Детальное изучение звукового дизайна и музыки в фильмах» (пр. 302) приведен анализ влияния музыки и звуковых эффектов на эмоциональное восприятие содержания фильма. Были поставлены эксперименты по субъективной оценке: участники разделены на три группы по степени подготовленности, и им предъявлялось десять эпизодов драматического содержания с различным музыкальным сопровождением и звуковыми эффектами. Выяснилось, что 63% больше чувствовали музыку, 35% – звуковые эффекты. Анализ показал, что одна музыка больше подчеркивает специфические эмоции, а звуковые эффекты создают связь между эмоциями и содержанием речи.

Полезные для звукорежиссеров сведения содержатся в докладе Queen Mary University of London «Анализ направлений в аудиомикшировании и мастеринге» (пр. 10186). Были проанализированы записи, представленные в базе данных на платформе MixCheck studio для 30 жанров музыки. Записи сравнивались по таким параметрам, как интегральная громкость, клиппирование, фазовые соотношения, компрессия, моносовместимость и тональный профиль. Анализ показал большой разброс в параметрах после микса и мастеринга. Причина этого разброса – в уровнях профессионализма и культуры звукорежиссеров.

Доклад «Новый 3GPP-стандарт для пространственных коммуникаций (пространственный голос и аудиосервисы (IVAS)» (пр.10188) дает описание нового стандарта для первого полностью пространственного кодека 3GPP для 5G систем мобильной связи.

Доклад «Субъективная оценка эмоций в музыке, генерируемой искусственным интеллектом» (пр. 294) представил результаты экспериментов по субъективной оценке музыки в трех жанрах с 16 эмоциями, оценку проводили студенты-звукорежиссеры. Результаты показали, что однозначной связи между заложенными в музыку эмоциями и их оценкой людьми не удалось установить, что, по-видимому, показывает, что процесс выражения и восприятия эмоций у человека значительно сложнее, чем это заложено в ИИ. Работы предполагается продолжить.

В еще одном докладе специалистов из университета McGill University (Канада) под руководством проф. Веслава Вошчика «Виртуальная технология в студии звукозаписи» (пр. 280) излагаются результаты работ по усовершенствованию системы виртуального оркестра, созданного в лаборатории Immersive Media Lab at McGill University. Система эта существует уже несколько лет, о ней уже рассказывалось на конгрессах. В данном докладе излагаются результаты работ по усовершенствованию системы обратной связи и улучшению качества звучания виртуального оркестра за счет совершенствования системы записи с новыми микрофонами, улучшения методов построения аурализационных моделей помещения и применения новых систем воспроизведения. В работе приводятся результаты субъективных оценок звучания виртуального оркестра музыкантами.

Доклад специалистов из этого же университета «Исследование пространственной оперы: запись и пост-продакшн с пространственными многомикрофонными системами и объемной микрофонной системой» (р. 292) представляет инженерный отчет по записи оперы с помощью пространственной микрофонной системы и объемной микрофонной системы, состоящей из НОА-микрофонов (High Order Ambisonics, микрофоны высокого порядка) с микшированием и пространственным воспроизведением через многоканальный комплект громкоговорителей и бинауральные стереотелефоны. Результаты показали большой потенциал в создании высококачественных записей такого сложного пространственного объекта, как оперы (рис. 5), с сохранением тембра и пространственных характеристик.

Доклад «Декодирование эмоций: лексические и акустические признаки в вокальных эффектах» (пр. 10181) был посвящен оценке способности слушателей оценивать эмоции в вокальной и текстовой речи (бытовой и поставленной, как у актеров). Вокальные признаки усиливают восприятие отрицательных эмоций печали и страха, но мало влияют на положительные—счастье, например. Вокальные признаки варьируются среди разного вида эмоций и могут перевешивать восприятия эмоций, выраженных в тексте. Дальнейшее исследование предполагает изучение ситуации, когда эмоции в тексте и в вокальной речи не соответствуют друг другу.

Корейский доклад «Количественная оценка акустических параметров и слушательских предпочтений в системах бинаурального синтеза с учетом движения головы» (пр. 296) показал, что быстрое развитие пространственных звуковых технологий делает популярным развитие систем бинаурального синтеза. В данном докладе представлены результаты исследований пяти систем бинаурального синтеза: SPARTA (Aalto University), NovoNotes 3DX (MAGNETICA studio), Virtuoso (Applied Psychoacoustics Lab, University of Huddersfield), Dolby Atmos Renderer (Dolby Inc.), and IEM Plug-in Suite (Institute of Electronic Music and Acoustics, University of Music and Performing Arts, Gratz), позволяющих многоканальные миксы, в частности по системе 22.2, переводить в двухканальные бинауральные сигналы с учетом движения головы. При этом производились измерения акустических параметров и анализировались результаты субъективных экспертиз. Оценка производилась по трем параметрам – общее впечатление, пространственность и тембр. Результаты показали, что слушатели делятся на две группы – для одной важными являются тембральные различия, для другой пространственные признаки. В соответствии с этим все системы также разделились на две группы – одна оказалась лучше для передачи пространственного впечатления, другая для тембрального.

Доклад фирмы Samsung Electronics (Ю. Корея) «Устройство автоматического ремастеринга речи в реальном времени» (пр. 306) рассматривает применение искусственного интеллекта (ИИ) в различных мультимедийных устройствах. В данной работе предлагается автоматизированной решение для ремастеринга речи в ТВ, предполагающее автоматическое выделение речи в реальном времени и автоматическое приведение уровня речи к уровню сопровождающего звука и общему уровню устройства. Дополнительно предлагается автоматизированная техника нормализации речи для уменьшения вариабильности ее уровня в зависимости от содержания. Предлагаемые решения обеспечивают пользователя лучшим пониманием и проникновением в содержание контента. Они могут быть применены в ТВ-устройствах и показывают общее улучшение качества речи при работе в реальном времени.

Американский доклад «Пилотное изучение по созданию фундаментальной методологии для захвата пространственной информации в помещении для виртуального окружения» (пр. 307) вводит новое понятие для обозначения пространственного звука – голофония. Под ней понимается пространственный звук, созданный в результате сложения звуковых полей, создаваемых многочисленными точечными источниками, например Системы волнового синтеза. Для создания такого голофонического звука была выбрана соответствующая микрофонная техника записи: XYZ комплекс, Hamasaki-Ambeo комплекс, и XYZ с добавочным XY-боковым кластером. Была поставлена задача установить, какая из этих техник лучше передает трехмерные характеристики помещения, обеспечивая слушателю шесть степеней свободы в виртуальном пространстве. Записи были выполнены для арфы и африканского дуэта. Результаты субъективных оценок показывают предпочтение для XYZ-системы за счет лучшего захвата реверберации. Однако система Hamasaki-Ambeo также подходит для голофонии.

Доклад «Влияние техники записи и размера ансамбля на кажущую ширину источника» (пр. 10198) представил результаты исследований на тему «Как выбор формата записи влияет на восприятие кажущейся ширины источника при воспроизведении через стереофонические громкоговорители и телефоны». Сравнивались четыре варианта стереозаписи (Spaced Omni-Directional Pair, ORTF Pair, MS Pair, Blumlein Pair), бинауральная техника записи, три варианта Системы волнового синтеза (рис. 6).

Результаты экспертиз показывают, что техника Blumlein лучше всего подходит для записи симфоний, обеспечивая пространственное впечатление по ширине звукового источника и по передаче музыкальной динамики. Технология ORTF больше подходит для записи камерных ансамблей и легкой музыки без тяжелого звучания в низких регистрах. Независимо от техники записи изменение физической ширины ансамбля не ведет к значительному изменению воспринимаемой ширины источника. При прослушивании через телефоны интерауральная декорреляция есть главный фактор при определении ширины источника, при прослушивании через громкоговорители достаточно высокий уровень боковых отражений, наличие низких и средних частот являются определяющими. Предполагается продолжить эти исследования привлекая другие техники объемной записи и варианты воспроизведения.

Доклад «Исследование характеристик направленности щипковых струнных инструментов – лютни, лаута и уда» (пр. 285) представил методологию записи и результаты исследования трехмерных характеристик направленности щипковых старинных музыкальных инструментов. Запись ХН производилась в заглушенной камере с помощью 29 микрофонов (рис. 7), в широком частотном диапазоне. Полученные результаты могут быть полезны при организации записей и при создании аурализационных моделей.

Норвежский доклад «Слышимость реальных пиковых искажений» (пр. 301) представил результаты анализа реальных пиковых искажений при мастеринге. При опросе пяти опытных звукорежиссеров выяснилось, что они стараются держать уровень пиков до 0 dBFS. Однако анализ записей показал, что уровни пиков часто превышают 0 dBFS. Экспертиза показала, что даже опытные слушатели не очень чувствительны к этим видам искажений. Авторы рекомендуют использовать последние рекомендации по этому вопросу, например, раздел “Loudness normalization” на сайте Spotify. https://support.spotify.com/no-nb/artists/article/loudness-normalization//

Доклад фирмы L-Acoustics «Физиологические измерения возбуждающего эффекта усиления басов в музыке» (пр. 10183) был посвящен проблеме усиления эмоций при увеличении уровня низких частот в системах озвучивания и усиления. Измерения показали (рис. 8), что при увеличении уровня изменяется кожная проводимость, что ассоциируется с возбуждением, правда, этот эффект в значительной степени зависит от жанра выбранной музыки.

В японском докладе «Создание акустических характеристик виртуальных микрофонных комплексов из простой сети измеренных характеристик первого порядка системы Ambisonic (FOA) применительно к множественным источникам звука» (пр. 299) предлагается новый метод V2MA, который генерирует акустические характеристики любого типа виртуальных микрофонных комплексов из простой сети FOA (First Order Ambisonics – прим. ред.), – характеристик, полученных из измеренной импульсной характеристики А-форматным микрофоном в данном помещении. Метод позволяет производить перерасчет параметров микрофонных систем при перемещении источника звука.

Доклад «Влияние позиции высотных микрофонов на воспринимаемый реализм записей органа» (пр. 10189) содержит результаты субъективных оценок пространственных записей органа при различном размещении высотных микрофонов (рис. 9). Обычно их размещают на 1.5 м выше горизонтального уровня микрофонов. Анализ субъективных оценок показал, что различное размещение высотных микрофонов относительно среднего уровня незначительно влияет на общий реализм звучания органа.

Доклад специалистов из Университета Нью-Йорка «Исследование методов пространственной записи и воспроизведения органа» (пр. 270) посвящен анализу записей органа с помощью пространственной системы микрофонов, состоящей из горизонтального слоя (четыре ненаправленных микрофона и один однонаправленный центральный) и четыре суперкардиоидных микрофона в верхнем слое, где микрофоны направлены на 30 градусов вверх (для лучшей записи отражений от потолка). Воспроизведение происходило через пространственную систему 7.1.4. Были выполнены субъективные экспертизы для определения передачи баланса, тембра, реалистичности звучания и пространства.

Доклад «Сравнительное изучение объемной микрофонной техники в классической звукозаписи» (пр.304) представил результаты изучения звукозаписей классической музыки (фортепиано, скрипка, виолончель) с помощью специальной системы микрофонов (рис. 10).

Микрофонная система предполагает размещение множества Ambisonic-микрофонов в помещении, (шесть Ambisonic-микрофонов в форме шестиугольника – прим. ред.), затем звук через кодер SoundField by RØDE Ambisonic передавался на систему громкоговорителей 7.0.4. Слепое прослушивание, где сравнивалась предложенная объемная система микрофонов с традиционной иммерсивной микрофонной системой 5.0 и простым Ambisonic-микрофоном показала, что предложенная система дает лучшую локализацию, но пространственность лучше обеспечивается Ambisonic-микрофоном. Не выявлено значительных различий в оценке натуральности звучания.

Японский доклад «Детектирование задержек при прослушивании движущихся объектов на разных азимутальных углах и в разных частотных полосах» (пр. 259) исследует, как задержки сигнала при создании бинаурального 3D-аудио влияют на восприятие реализма при движении головы слушателя. Было установлено, что порог восприятия задержек составляет 300…450 мс для сигналов в полосе 200…400 Гц на фронте, но они превышают 500 мс при нахождении сигнала сбоку. На частоте 1 кГц пороги составляют 100 мс на фронте и 150…200 мс сбоку. В целом пороги восприятия задержек находятся в пределах 100…500 мс. Следовательно, при бинауральном воспроизведении необходимо контролировать, чтобы пороги находились в этих пределах при движении головы слушателя.

Доклад фирмы Samsung «Воспринимаемая компенсация громкости для оценки персонализированной эквализации вкладных телефонов» (пр. 278) представил результаты измерений передаточных функций от вкладного телефона до барабанной перепонки с помощью миниатюрной системы микрофонов. Учитывая, что конфигурация слухового канала очень индивидуальна, эти передаточные функции различаются значительно. Знание этих функций позволяет сконструировать соответствующие компенсационные индивидуализированные фильтры для вкладных телефонов.

Доклад одного из американских университетов «Акустика в живом звуке» (пр. 297) представляет собой анализ того, как акустическая наука используется звукорежиссерами при работе с пространством при микшировании. Результаты получены по итогам интервью с достаточно большим количеством работающих специалистов. Определены основные направления преподавания акустики в университетах.

Наряду с докладами на конгрессе проходили многочисленные семинары, например, «Лучшая практика для создания, микширования и производства пространственного звука для музыки, ТВ, фильмов и др.», «Меняет ли искусственный интеллект образование в сфере аудио», «Анатомия звукозаписи, где аудиотехника и музыкальное творчество пересекаются», «Прогресс в объемной микрофонной технике для записи пространственного звука», «Психоакустика для пространственного звука» и др.