Как рисовать на спектрограмме
Рисуем звук. Часть 1
Привет! В серии статей мы расскажем для чего и как в системе визуализации звука SVS используется спектрограмма, как выбрать лучшую частоту для анализа даже в шумной среде, расскажем о кейсах, которые мы решили.
Начнем, пожалуй 🙂
Физики под звуком понимают «воспринимаемое слухом физическое явление, порождаемое колебательными движениями частиц воздуха или другой среды». Например, натянутой гитарной струны.
Звук как физическое явление характеризуется тремя параметрами: высотой, силой, звуковым спектром.
Что такое спектрограмма?
Под спектрограммой понимают «изображение, показывающее зависимость спектральной плотности мощности сигнала от времени». Иными словами, спектрограмма – это графическое изображение звука.
Спектрограмму сформировать можно двумя способами: аппроксимировать как набор фильтров или рассчитать сигнал по времени с помощью оконного преобразования Фурье.
Распространенное представление спектрограммы – это двумерная диаграмма: на горизонтальной оси представлено время, по вертикальной оси — частота; третье измерение с указанием амплитуды на определенной частоте в конкретный момент времени представлено интенсивностью или цветом каждой точки изображения. Источники интенсивного звука отображаются красным цветом, а тихие области – темно-синим.
Cпектрограмма работы компрессора. Получена с помощью системы визуализации звука SVS
Например, на изображении представлена спектрограмма, полученная при исследовании работы компрессора системой SVS. Один из элементов издавал характерный стук (этот стук видим в виде полосы красного цвета).
Зачем нужна спектрограмма?
Спектрограмма позволяет понимать окружающие звуки. Эта функция может помочь во время поиска неисправности оборудования, а также помочь оптимизировать и улучшить диагностику оборудования. В системе визуализации звука SVS спектрограмма нужна именно для этих целей. Хотите попробовать работу спектрограммы, тогда загляни сюда. В режиме реального времени, звук с микрофона преобразуется (только не забудьте разрешить доступ в браузере), в спектрограмму. При нажатии на спектрограмму приложение воспроизводит звук с соответствующей высотой тона.
Спектрограмма трека Aphex Twin Получена с помощью системы визуализации звука SVS
Проанализировав спектрограмму аудиофайла можно увидеть хаотичное изображение. Например, профессиональные музыканты с помощью таких изображений анализируют музыку и определяют проблемные места. Открылись новые возможности для стеганографии. В спектрограммы зашифровывают целые изображения. Чем и пользуются некоторые энтузиасты: знаменитый диджей Aphex Twin в качестве секретного послания музыкант встроил в этот трек селфи, проявляющееся на логарифмической спектрограмме.
В следующей статье расскажем, как выбрать частоту для анализа звуковой среды.
Готовы ответить на вопросы, пишите @ni_meleshko.