Синтезатор речи женский голос. Как это работает: синтез речи

Приложения-синтезаторы речи – удобные и надежные помощники для Андроид пользователей. С их помощью можно «озвучить» приложения на самые популярные языки мира, настроить тембр голоса и другие важные параметры, а также , прослушивать звучание разных слов. Большинство TTS приложений для Android доступны бесплатно, однако за установку отдельных голосов и функций нужно доплатить. Мы подобрали для вас наиболее удобные синтезаторы речи, скачать которые можно на нашем сайте.

Синтез речи от Google

Жанр	Инструменты
Рейтинг	4,1
Установки	1 000 000 000–5 000 000 000
Разработчик	Google LLC
Русский язык	есть
Оценок	1 107 289
Версия	3.14.9
Размер apk	14.7 MB

Наиболее популярная и доступная TTS-утилита, совместимая со многими Андроид-девайсами. С помощью программы вы можете озвучивать текст на экране, а также выполнять ряд важных функций:

• Озвучивать книги приложения Google Play Книги.
• Переводить и озвучивать слова из .
• Включать голосовые подсказки при помощи сервиса TalkBack.

Активировать приложение Синтез речи от Google можно прямо на своем девайсе. Для этого откройте пункт меню «Настройки», где зайдите в подраздел «Язык и методы ввода», а там – «Синтез речи». Выберите систему синтеза речи от Google, после чего приложение активируется автоматически.

Программа поддерживает более 40 языков, среди которых английский, русский, французский, немецкий, японский, испанский, датский, хинди и много других. В последней версии утилиты добавлено 3 новые языка – румынский, эстонский и словацкий, а также улучшено качество голоса в целом.

Acapela TTS Voices

Жанр	Связь
Рейтинг	3,5
Установки	100 000–500 000
Разработчик	Acapela Group S.A.
Русский язык	нет
Оценок	3 883
Версия	6.0.0.2
Размер apk	9.3 MB

Еще один качественный синтезатор речи на Андроид, который доступен на нашем портале. Программа является условно бесплатной, при этом перед тем, как купить приложение, вы можете прослушать демо-версии мужских и женских голосов в режиме онлайн. Утилита позволяет покупать и устанавливать программы с голосом высокого качества, такие как Google TalkBack, переводчики и озвучивания новостей.

Для выбора и установки голоса в приложении войдите в меню, после чего нажмите на голос и удерживайте несколько секунд. Возле выбранного голоса появится значок желтой звезды, и он будет установлен по умолчанию. Теперь вы можете использовать эту программу с вашей любимой читалкой книг.

Приложение Acapela TTS Voices можно активировать следующими действиями.

• Загрузите сервис на нашем сайте или портале Google Play.
• После установки приложения кликните на иконку программы. Убедитесь в наличии Интернет-соединения.
• Ознакомьтесь со списком голосов, которые загружены с сервера.
• Нажмите на меню напротив каждого голоса, где можно прослушать собственный текст или сразу перейти к покупке.
• После покупки и оплаты голос будет загружен, и вы сможете пользоваться им в любое время.

Приложение Acapela TTS Voices совместимо с ОС Android 2.2 и более поздними версиями.

Vocalizer TTS Voice

Жанр	Работа
Рейтинг	3,3
Установки	500 000–1 000 000
Разработчик	Code Factory
Русский язык	есть
Оценок	3 405
Версия	2.0.8
Размер apk	5.4 MB

Синтезатор речи с меню на английском языке. Программа обладает интегрированным TTS-движком, поддерживающим более 50 языков. Сервис выгодно выделяется приятным и чистым звуком, тембр которого можно настраивать на свое усмотрение.

Vocalizer позволяет озвучить популярные Андроид-приложения, такие как книги, и реабилитационное программное обеспечение.

Среди других важных функций Vocalizer TTS Voice стоит отметить:

• Поддержка 50 языков и 100 видов голоса.
• Поддержка эмоцзи (а вы знали, что есть ?).
• Озвучивание слов в словарях.
• Настройки скорости чтения.
• Настройки озвучивания пунктуации.

После того, как программа будет установлена на вашем устройстве, вы можете активировать ее через меню настроек в разделе «Язык и методы ввода» – Text-To-Speech и установить Vocalizer TTS как систему по умолчанию.

Приложение совместимо с системой Android версии 4.0 и далее.

Если вам понравилось это приложение, и вы ищете похожие приложения – посмотрите обзор . А если вы в незнакомой стране, и вам не до озвучки текста, вам нужно перевести этот текст – вы можете сфотографировать его и перевести .

Сегодня синтезаторы речи, применяемые в стационарных компьютерных системах или мобильных устройствах, чем-то необычным уже не кажутся. Технологии шагнули далеко вперед и позволили воспроизвести человеческий голос. Как все это работает, где применяется, каков лучший речевой синтезатор и с какими потенциальными проблемами может столкнуться пользователь, смотрите ниже.

Что представляют собой речевые синтезаторы и где они применяются?

Синтезаторы речи представляют собой специальные программы, состоящие из нескольких модулей, которые позволяют переводить набранный на клавиатуре текст в обычную человеческую речь в виде звукового сопровождения.

Было бы наивно полагать, что сопутствующие библиотеки содержат абсолютно все слова или возможные фразы, записанные в студиях реальными людьми. Это просто физически невозможно. К тому же библиотеки фраз имели бы такой размер, что установить их даже на современные винчестеры большого объема, не говоря уже о мобильных девайсах, просто не представлялось бы возможным.

Для этого была разработана технология, получившая название Text-to-Speech (перевод текста в речь).

Наиболее широкое распространение синтезаторы речи получили в нескольких областях, к которым можно отнести самостоятельное изучение иностранных языков (программы нередко имеют поддержку в 50 языков и более), кода нужно услышать правильное произношение слова, прослушивание текстов книг вместо чтения, создание речевых и вокальных партий в музыке, использование их людьми с ограниченными возможностями, выдача поисковых запросов в виде озвученных слов и фраз и т. д.

Разновидности программ

В зависимости от области применения, все программы можно разделить на два основных типа: стандартные, непосредственно преобразующие текст в речь, и речевые или вокальные модули, применяемые в музыкальных приложениях.

Для более полного понимания картины рассмотрим оба класса, но больший упор будет сделан все-таки на синтезаторы речи в их непосредственном назначении.

Плюсы и минусы простейших речевых приложений

Что же касается преимуществ и недостатков программ такого типа, сначала рассмотрим все-таки недостатки.

Прежде всего нужно четко понимать, что компьютер - он и есть компьютер, который на данном этапе развития человеческую речь может синтезировать весьма приблизительно. В простейших программах зачастую наблюдаются проблемы с постановкой ударений в словах, пониженное качество звука, а в мобильных устройствах - повышенное энергопотребление, а иногда и несанкционированная загрузка речевых модулей.

Но и преимуществ хватает, ведь очень многие звуковую информацию воспринимают гораздо лучше, нежели визуальную. Удобство восприятия налицо.

Как пользоваться синтезатором речи?

Теперь несколько слов об основных принципах использования программ такого типа. Установить синтезатор речи любого типа можно без особых проблем. В стационарных системах используется стандартный инсталлятор, где основной задачей станет выбор поддерживаемых языковых модулей. Для мобильных девайсов установочный файл можно скачать из официального магазина или хранилища вроде Google Play или AppStore, после чего приложение инсталлируется в автоматическом режиме.

Как правило, при первом запуске никаких настроек, кроме установки языка по умолчанию, производить не нужно. Правда, иногда программа может предложить выбрать качество звучания (в стандартном варианте, применяемом повсеместно, частота дискретизации 4410 Гц, глубина 16 бит и битрейт 128 кбит/с). В мобильных устройствах эти показатели ниже. Тем не менее за основу берется определенный голос. С использованием стандартного шаблона произношения путем применения фильтров и эквалайзеров достигается звучание именно такого тембра.

В использовании можно выбрать несколько вариантов перевода вручную, озвучивание уже имеющего текста из файла, интеграция в другие приложения (например, веб-браузеры) с активацией выдачи поисковых результатов или прочтения текстового содержимого на страницах онлайн. Достаточно выбрать нужный вариант действий, язык и голос, которым все это будет произноситься. Многие программы имеют несколько разновидностей голосов: как мужских, так и женских. Для активации процесса воспроизведения обычно используется кнопка старта.

Если говорить о том, как отключить синтезатор речи, тут может быть несколько вариантов. В самом простом случае используется кнопка остановки воспроизведения в самой программе. В случае интеграции в браузер деактивация производится в настройках расширений или полным удалением плагина. А вот с мобильными устройствами, несмотря на непосредственное отключение, могут быть проблемы, о которых будет сказано отдельно.

В музыкальных программах настройки и ввод текста намного сложнее. Например, в приложении FL Studio есть свой речевой модуль, в котором можно выбрать несколько изменить настройки тональности, скорости воспроизведения и т. д. Для постановки ударений перед слогом используется символ «_». Но и такой синтезатор годится только для создания роботизированных голосов.

Но вот пакет Vocaloid от Yamaha относится к программам профессионального типа. Технология Text-to-Speech здесь реализована в наиболее полном объеме. В настройках, помимо стандартных параметров, можно выставить артикуляцию, глиссандо, использовать библиотеки с вокалом профессиональных исполнителей, составлять слова и фразы, подгоняя их под ноты, и еще кучу всего. Неудивительно, что пакет только с одним вокалом занимает порядка 4 Гб и более в установочном дистрибутиве, а после распаковки - вдвое-втрое больше.

Синтезаторы речи с русскими голосами: краткий обзор самых популярных

Но вернемся к самым простым приложениям и рассмотрим самые популярные из них.

RHVoice - по мнению большинства экспертов, лучший синтезатор речи, являющийся российской разработкой авторства В стандартном варианте доступно три голоса (Александр, Ирина, Елена). Настройки просты. А само приложение может использоваться и как самостоятельная программа, совместимая с SAPI5, и как экранный модуль.

Acapela - достаточно интересное приложение, главной особенностью которого является почти идеальная озвучка текста более чем на 30 языках мира. В обычной версии, правда, доступен только один голос (Алена).

Vocalizer - мощное приложение с женским голосом Milena. Очень часто эта программа применяется в call-центрах. Имеется множество настроек постановки ударения, громкости, скорости чтения и установки дополнительных словарей. Главное отличие состоит в том, что речевой движок может встраиваться в программы вроде Cool Reader, Moon+ Reader Pro или Full Screen Caller ID.

Festival - мощнейшая утилита синтеза и распознавания речи, созданная для систем Linux и Mac OS X. Приложение поставляется с открытым исходным кодом и, помимо стандартных языковых пакетов, имеет поддержку даже финского языка и хинди.

eSpeak - речевое приложение, поддерживающее более 50 языков. Главным недостатком считается сохранение файлов с синтезированной речью исключительно в формате WAV, который занимает уж очень много места. Зато программа является кроссплатформенной и может использоваться даже в мобильных системах.

Проблемы с синтезатором речи в Google Android

При установке «родного» синтезатора речи от Google, пользователи постоянно жалуются на то, что он самопроизвольно включает загрузку дополнительных языковых модулей, что может не только занимать достаточно длительный промежуток времени, но еще и расходует трафик.

Избавиться от этого в Android-системах можно очень просто. Для этого используем меню настроек, далее переходим в раздел языка и голосового ввода, выбираем голосовой поиск и на параметре распознавания речи оффлайн нажимаем на крестик (отключение). Дополнительно рекомендуется почистить кэш приложений и перезагрузить устройство. Иногда может потребоваться в самом приложении отключить показ уведомлений.

Что в итоге?

Поводя некий итог, можно сказать, что в большинстве случаев рядовым пользователям подойдут самые простые программы. Во всех рейтингах лидирует RHVoice. Но для музыкантов, которые хотят добиться естественного звучания голоса, чтобы разница между живым вокалом и компьютерным синтезом не ощущалась на слух, лучше отдать предпочтение программам типа Vocaloid, тем более что для них выпускается множество дополнительных голосовых библиотек, а настройки имеют столько возможностей, что примитивные приложения, как говорится, и рядом не стояли.

Синтез речи на сегодняшний день применяется в самых разных областях. Это и голосовые ассистенты, и IVR-системы, и умные дома, и еще много чего. Сама по себе задача, на мой вкус, очень наглядная и понятная: написанный текст должен произноситься так, как это бы сделал человек.

Некоторое время назад в область синтеза речи, как и во многие другие области, пришло машинное обучение. Выяснилось, что целый ряд компонентов всей системы можно заменить на нейронные сети, что позволит не просто приблизиться по качеству к существующим алгоритмам, а даже значительно их превзойти.

Синтез речи

Чтобы построить систему синтеза речи, нужна целая команда специалистов из разных областей. По каждой из них существует целая масса алгоритмов и подходов. Написаны докторские диссертации и толстые книжки с описанием фундаментальных подходов. Давайте для начала поверхностно разберемся с каждой их них.

Лингвистика

1. Нормализация текста . Для начала нам нужно развернуть все сокращения, числа и даты в текст. 50е годы XX века должно превратиться в пятидесятые годы двадцатого века , а г. Санкт-Петербург, Большой пр. П.С. в город Санкт-Петербург, Большой проспект Петроградской Стороны . Это должно происходить так естественно, как если бы человека попросили прочитать написанное.
2. Подготовка словаря ударений . Расстановка ударений может производиться по правилам языка. В английском ударение часто ставится на первый слог, а в испанском - на предпоследний. При этом из этих правил существует целая масса исключений, не поддающихся какому-то общему правилу. Их обязательно нужно учитывать. Для русского языка в общем смысле правил расстановки ударения вообще не существует, так что без словаря с расставленными ударениями совсем никуда не деться.
3. Снятие омографии . Омографы - это слова, которые совпадают в написании, но различаются в произношении. Носитель языка легко расставит ударения: дверной замок и замок на горе . А вот ключ от замка - задача посложнее. Полностью снять омографию без учета контекста невозможно.

Просодика

1. Выделение синтагм и расстановка пауз . Синтагма представляет относительно законченный по смыслу отрезок речи. Когда человек говорит, он обычно вставляет паузы между фразами. Нам нужно научиться разделять текст на такие синтагмы.
2. Определение типа интонации . Выражение завершенности, вопроса и восклицания - самые простые интонации. А вот выразить иронию, сомнение или воодушевление задача куда сложнее.

Фонетика

1. Получение транскрипции . Так как в конечном итоге мы работаем с произнесением, а не с написанием, то очевидно вместо букв (графем), логично использовать звуки (фонемы). Преобразование графемной записи в фонемную - отдельная задача, состоящая из множества правил и исключений.
2. Вычисление параметров интонации . В этот момент нужно решить как будет меняться высота основного тона и скорость произнесения в зависимости от расставленных пауз, подобранной последовательности фонем и типа выражаемой интонации. Помимо основного тона и скорости есть и другие параметры, с которыми можно долго экспериментировать.

Акустика

1. Подбор звуковых элементов . Системы синтеза оперируют так называемыми аллофонами - реализациями фонемы, зависящими от окружения. Записи из обучающих данных нарезаются на кусочки по фонемной разметке, которые образуют аллофонную базу. Каждый аллофон характеризуется набором параметров, таких как контекст (фонемы соседи), высота основного тона, длительность и прочие. Сам процесс синтеза представляет собой подбор правильной последовательности аллофонов, наиболее подходящих в текущих условиях.
2. Модификация и звуковые эффекты . Для получившихся записей иногда нужна постобработка, какие-то специальные фильтры, делающие синтезируемую речь чуть ближе к человеческой или исправляющие какие-то дефекты.

Если вдруг вам показалось, что все это можно упростить, прикинуть в голове или быстро подобрать какие-то эвристики для отдельных модулей, то просто представьте, что вам нужно сделать синтез на хинди. Если вы не владеете языком, то вам даже не удастся оценить качество вашего синтеза, не привлекая кого-то, кто владел бы языком на нужном уровне. Мой родной язык русский, и я слышу, когда синтез ошибается в ударениях или говорит не с той интонацией. Но в тоже время, весь синтезированный английский для меня звучит примерно одинаково, не говоря уже о более экзотических языках.

Реализации

Мы попытаемся найти End-2-End (E2E) реализацию синтеза, которая бы взяла на себя все сложности, связанные с тонкостями языка. Другими словами, мы хотим построить систему, основанную на нейронных сетях, которая бы на вход принимала текст, а на выходе давала бы синтезированную речь. Можно ли обучить такую сеть, которая позволила бы заменить целую команду специалистов из узких областей на команду (возможно даже из одного человека), специализирующуюся на машинном обучении?

На запрос end2end tts Google выдает целую массу результатов. Во главе - реализация Tacotron от самого Google. Самым простым мне показалось идти от конкретных людей на Github, которые занимаются исследованиям в этой области и выкладывают свои реализации различных архитектур.

Я бы выделил троих:

Загляните к ним в репозитории, там целый кладезь информации. Архитектур и подходов к задаче E2E-синтеза довольно много. Среди основных:

1. Tacotron (версии 1, 2).
2. DeepVoice (версии 1, 2, 3).
3. Char2Wav.
4. DCTTS.
5. WaveNet.

Нам нужно выбрать одну. Я выбрал Deep Convolutional Text-To-Speech (DCTTS) от Kyubyong Park в качестве основы для будущих экспериментов. Оригинальную статью можно посмотреть по ссылке . Давайте поподробнее рассмотрим реализацию.

Автор выложил результаты работы синтеза по трем различным базам и на разных стадиях обучения. На мой вкус, как не носителя языка, они звучат весьма прилично. Последняя из баз на английском языке (Kate Winslet"s Audiobook) содержит всего 5 часов речи, что для меня тоже является большим преимуществом, так как моя база содержит примерно сопоставимое количество данных.

Через некоторое время после того, как я обучил свою систему, в репозитории появилась информация о том, что автор успешно обучил модель для корейского языка. Это тоже довольно важно, так как языки могут сильно разниться и робастность по отношению к языку - это приятное дополнение. Можно ожидать, что в процессе обучения не потребуется особого подхода к каждому набору обучающих данных: языку, голосу или еще каким-то характеристикам.

Еще один важный момент для такого рода систем - это время обучения. Tacotron на том железе, которое у меня есть, по моим оценкам учился бы порядка 2 недель. Для прототипирования на начальном уровне мне показалось это слишком ресурсоемким. Педали, конечно, крутить не пришлось бы, но на создание какого-то базового прототипа потребовалось бы очень много календарного времени. DCTTS в финальном варианте учится за пару дней.

У каждого исследователя есть набор инструментов, которыми он пользуется в своей работе. Каждый подбирает их себе по вкусу. Я очень люблю PyTorch. К сожалению, на нем реализации DCTTS я не нашел, и пришлось использовать TensorFlow. Возможно в какой-то момент выложу свою реализацию на PyTorch.

Данные для обучения

Хорошая база для реализации синтеза - это основной залог успеха. К подготовке нового голоса подходят очень основательно. Профессиональный диктор произносит заранее подготовленные фразы в течение многих часов. Для каждого произнесения нужно выдержать все паузы, говорить без рывков и замедлений, воспроизвести правильный контур основного тона и все это в купе с правильной интонацией. Кроме всего прочего, не все голоса одинаково приятно звучат.

У меня на руках была база порядка 8 часов, записанная профессиональным диктором. Сейчас мы с коллегами обсуждаем возможность выложить этот голос в свободный доступ для некоммерческого использования. Если все получится, то дистрибутив с голосом помимо самих записей будет включать в себя точные текстовки для каждой из них.

Начнем

Мы хотим создать сеть, которая на вход принимала бы текст, а на выходе давала бы синтезированный звук. Обилие реализаций показывает, что это возможно, но есть конечно и ряд оговорок.

Основные параметры системы обычно называют гиперпараметрами и выносят в отдельный файл, который называется соответствующим образом: hparams.py или hyperparams.py , как в нашем случае. В гиперпараметры выносится все, что можно покрутить, не трогая основной код. Начиная от директорий для логов, заканчивая размерами скрытых слоев. После этого гиперпараметры в коде используются примерно вот так:

From hyperparams import Hyperparams as hp batch_size = hp.B # размер батча берем из гиперпараметров
Далее по тексту все переменные имеющие префикс hp. берутся именно из файла гиперпараметров. Подразумевается, что эти параметры не меняются в процессе обучения, поэтому будьте осторожны перезапуская что-то с новыми параметрами.

Текст

Для обработки текста обычно используются так называемый embedding-слой, который ставится самым первым. Суть его простая - это просто табличка, которая каждому символу из алфавита ставит в соответствие некий вектор признаков. В процессе обучения мы подбираем оптимальные значения для этих векторов, а когда синтезируем по готовой модели, просто берем значения из этой самой таблички. Такой подход применяется в уже довольно широко известных Word2Vec, где строится векторное представление для слов.

Для примера возьмем простой алфавит:

["a", "b", "c"]
В процессе обучения мы выяснили, что оптимальные значения каждого их символов вот такие:

{ "a": , "b": , "c": }
Тогда для строчки aabbcc после прохождения embedding-слоя мы получим следующую матрицу:

[, , , , , ]
Эта матрица дальше подается на другие слои, которые уже не оперируют понятием символ.

В этот момент мы видим первое ограничение, которое у нас появляется: набор символов, который мы можем отправлять на синтез, ограничен. Для каждого символа должно быть какое-то ненулевое количество примеров в обучающих данных, лучше с разным контекстом. Это значит, что нам нужно быть осторожными в выборе алфавита.

В своих экспериментах я остановился на варианте:

# Алфавит задается в файле с гиперпараметрами vocab = "E абвгдеёжзийклмнопрстуфхцчшщъыьэюя-"
Это алфавит русского языка, дефис, пробел и обозначение конца строки. Тут есть несколько важных моментов и допущений:

1. Я не добавлял в алфавит знаки препинания. С одной стороны, мы действительно их не произносим. С другой, по знакам препинания мы делим фразу на части (синтагмы), разделяя их паузами. Как система произнесет казнить нельзя помиловать ?
2. В алфавите нет цифр. Мы ожидаем, что они будут развернуты в числительные перед подачей на синтез, то есть нормализованы. Вообще все E2E-архитектуры, которые я видел, требуют именно нормализованный текст.
3. В алфавите нет латинских символов. Английский система уметь произносить не будет. Можно попробовать транслитерацию и получить сильный русский акцент - пресловутый лет ми спик фром май харт .
4. В алфавите есть буква ё . В данных, на который я обучал систему, она стояла там, где нужно, и я решил этот расклад не менять. Однако, в тот момент, когда я оценивал получившиеся результаты, выяснилось, что теперь перед подачей на синтез эту букву тоже нужно ставить правильно, иначе система произносит именно е , а не ё .

В будущих версиях можно уделить каждому из пунктов более пристальное внимание, а пока оставим в таком немного упрощенном виде.

Звук

Почти все системы оперируют не самим сигналом, а разного рода спектрами полученными на окнах с определенным шагом. Я не буду вдаваться в подробности, по этой теме довольно много разного рода литературы. Сосредоточимся на реализации и использованию. В реализации DCTTS используются два вида спектров: амплитудный спектр и мел-спектр.

Считаются они следующим образом (код из этого листинга и всех последующих взят из реализации DCTTS, но видоизменен для наглядности):

# Получаем сигнал фиксированной частоты дискретизации y, sr = librosa.load(wavename, sr=hp.sr) # Обрезаем тишину по краям y, _ = librosa.effects.trim(y) # Pre-emphasis фильтр y = np.append(y, y - hp.preemphasis * y[:-1]) # Оконное преобразование Фурье linear = librosa.stft(y=y, n_fft=hp.n_fft, hop_length=hp.hop_length, win_length=hp.win_length) # Амплитудный спектр mag = np.abs(linear) # Мел-спектр mel_basis = librosa.filters.mel(hp.sr, hp.n_fft, hp.n_mels) mel = np.dot(mel_basis, mag) # Переводим в децибелы mel = 20 * np.log10(np.maximum(1e-5, mel)) mag = 20 * np.log10(np.maximum(1e-5, mag)) # Нормализуем mel = np.clip((mel - hp.ref_db + hp.max_db) / hp.max_db, 1e-8, 1) mag = np.clip((mag - hp.ref_db + hp.max_db) / hp.max_db, 1e-8, 1) # Транспонируем и приводим к нужным типам mel = mel.T.astype(np.float32) mag = mag.T.astype(np.float32) # Добиваем нулями до правильных размерностей t = mel.shape num_paddings = hp.r - (t % hp.r) if t % hp.r != 0 else 0 mel = np.pad(mel, [, ], mode="constant") mag = np.pad(mag, [, ], mode="constant") # Понижаем частоту дискретизации для мел-спектра mel = mel[::hp.r, :]
Для вычислений почти во всех проектах E2E-синтеза используется библиотека LibROSA (https://librosa.github.io/librosa/). Она содержит много полезного, рекомендую заглянуть в документацию и посмотреть, что в ней есть.

Теперь давайте посмотрим как амплитудный спектр (magnitude spectrum) выглядит на одном из файлов из базы, которую я использовал:

Такой вариант представления оконных спекторов называется спектрограммой. На оси абсцисс располагается время в секундах, на оси ординат - частота в герцах. Цветом выделяется амплитуда спектра. Чем точка ярче, тем значение амплитуды больше.

Мел-спектр - это амплитудный спектр, но взятый на мел-шкале с определенным шагом и окном. Количество шагов мы задаем заранее, в большинстве реализаций для синтеза используется значение 80 (задается параметром hp.n_mels ). Переход к мел-спектру позволяет сильно сократить количество данных, но этом сохранить важные для речевого сигнала характеристики. Мел-спектрограмма для того же файла выглядит следующим образом:

Обратите внимание на прореживание мел-спектров во времени на последней строке листинга. Мы берем только каждый 4 вектор (hp.r == 4 ), соответственно уменьшая тем самым частоту дискретизации. Синтез речи сводится к предсказанию мел-спектров по последовательности символов. Идея простая: чем меньше сети приходится предсказывать, тем лучше она будет справляться.

Хорошо, мы можем получить спектрограмму по звуку, но послушать мы ее не можем. Соответственно нам нужно уметь восстанавливать сигнал обратно. Для этих целей в системах часто используется алгоритм Гриффина-Лима и его более современные интерпретации (к примеру, RTISILA, ссылка). Алгоритм позволяет восстановить сигнал по его амплитудным спектрам. Реализация, которую использовал я:

Def griffin_lim(spectrogram, n_iter=hp.n_iter): x_best = copy.deepcopy(spectrogram) for i in range(n_iter): x_t = librosa.istft(x_best, hp.hop_length, win_length=hp.win_length, window="hann") est = librosa.stft(x_t, hp.n_fft, hp.hop_length, win_length=hp.win_length) phase = est / np.maximum(1e-8, np.abs(est)) x_best = spectrogram * phase x_t = librosa.istft(x_best, hp.hop_length, win_length=hp.win_length, window="hann") y = np.real(x_t) return y
А сигнал по амплитудной спектрограмме можно восстановить вот так (шаги, обратные получению спектра):

# Транспонируем mag = mag.T # Денормализуем mag = (np.clip(mag, 0, 1) * hp.max_db) - hp.max_db + hp.ref_db # Возвращаемся от децибел к аплитудам mag = np.power(10.0, mag * 0.05) # Восстанавливаем сигнал wav = griffin_lim(mag**hp.power) # De-pre-emphasis фильтр wav = signal.lfilter(, , wav)
Давайте попробуем получить амплитудный спектр, восстановить его обратно, а затем послушать.

Оригинал:

Восстановленный сигнал:
На мой вкус, результат стал хуже. Авторы Tacotron (первая версия также использует этот алгоритм) отмечали, что использовали алгоритм Гриффина-Лима как временное решение для демонстрации возможностей архитектуры. WaveNet и ему подобные архитектуры позволяют синтезировать речь лучшего качества. Но они более тяжеловесные и требуют определенных усилий для обучения.

Обучение

DCTTS, который мы выбрали, состоит из двух практически независимых нейронных сетей: Text2Mel и Spectrogram Super-resolution Network (SSRN).

Text2Mel предсказывает мел-спектр по тексту, используя механизм внимания (Attention), который увязывает два энкодера (TextEnc, AudioEnc) и один декодер (AudioDec). Обратите внимание, что Text2Mel восстанавливает именно разреженный мел-спектр.

SSRN восстанавливает из мел-спектра полноценный амплитудный спектр, учитывая пропуски кадров и восстанавливая частоту дискретизации.

Последовательность вычислений довольно подробно описана в оригинальной статье. К тому же есть исходный код реализации, так что всегда можно отладиться и вникнуть в тонкости. Обратите внимание, что автор реализации отошел в некоторых местах от статьи. Я бы выделил два момента:

1. Появились дополнительные слои для нормализации (normalization layers), без которых, по словам автора, ничего не работало.
2. В реализации используется механизм исключения (dropout) для лучшей регуляризации. В статье этого нет.

Я взял голос, включающий в себя 8 часов записей (несколько тысяч файлов). Оставил только записи, которые:

1. В текстовках содержат только буквы, пробелы и дефисы.
2. Длина текстовок не превышает hp.max_N .
3. Длина мел-спектров после разреживания не превышает hp.max_T .

У меня получилось чуть больше 5 часов. Посчитал для всех записей нужные спекты и поочередно запустил обучение Text2Mel и SSRN. Все это делается довольно безхитростно:

$ python prepro.py $ python train.py 1 $ python train.py 2
Обратите внимание, что в оригинальном репозитории prepro.py именуется как prepo.py . Мой внутренний перфекционист не смог этого терпеть, так что я его переименовал.

DCTTS содержит только сверточные слои, и в отличие от RNN реализаций, вроде Tacotron, учится значительно быстрее.

На моей машине с Intel Core i5-4670, 16 Gb RAM и GeForce 1080 на борту 50 тыс. шагов для Text2Mel учится за 15 часов, а 75 тыс. шагов для SSRN - за 5 часов. Время требуемое на тысячу шагов в процессе обучения у меня почти не менялось, так что можно легко прикинуть, сколько потребуется времени на обучение с большим количеством шагов.

Размер батча можно регулировать параметром hp.B . Периодически процесс обучения у меня валился с out-of-memory, так что я просто делил на 2 размер батча и перезапускал обучение с нуля. Полагаю, что проблема кроется где-то в недрах TensorFlow (я использовал не самый свежий) и тонкостях реализации батчинга. Я с этим разбираться не стал, так как на значении 8 все падать перестало.

Результат

После того, как модели обучились, можно наконец запустить и синтез. Для этого заполняем файлик с фразами и запускаем:

$ python synthesize.py
Я немного поправил реализацию, чтобы генерировать фразы из нужного файла.

Результаты в виде WAV-файлов будут сохранены в директорию samples . Вот примеры синтеза системой, которая получилась у меня:

Выводы и ремарки

Результат превзошел мои личные ожидания по качеству. Система расставляет ударения, речь получается разборчивой, а голос узнаваем. В целом получилось неплохо для первой версии, особенно с учетом того, что для обучения использовалось всего 5 часов обучающих данных.

Остаются вопросы по управляемости таким синтезом. Пока невозможно даже исправить ударение в слове, если оно неверное. Мы жестко завязаны на максимальную длину фразы и размер мел-спектрограммы. Нет возможности управлять интонацией и скоростью воспроизведения.

Я не выкладывал мои изменения в коде оригинальной реализации. Они коснулись только загрузки обучающих данных и фраз для синтеза уже по готовой системе, а также значений гиперпараметров: алфавит (hp.vocab ) и размер батча (hp.B ). В остальном реализация осталась оригинальная.

В рамках рассказа я совсем не коснулся темы продакшн реализации таких систем, до этого полностью E2E-системам синтеза речи пока очень далеко. Я использовал GPU c CUDA, но даже в этом случае все работает медленнее реального времени. На CPU все работает просто неприлично медленно.

Все эти вопросы будут решаться в ближайшие годы крупными компаниями и научными сообществами. Уверен, что это будет очень интересно.

Теги: Добавить метки

Порой надо озвучить текст, который написан на компьютере. Но как это сделать? Необходимо использовать специальное программное обеспечение, которое называется синтезатором речи. С помощью этой утилиты можно превратить письменный текст в устную речь. На просторах Всемирной паутины существует куча десктопных речевых синтезаторов. Тем не менее лучше использовать онлайн-сервисы. Ведь в таком случае не придется скачивать софт на ПК, засоряя таким образом память. В этой статье мы рассмотрим лучшие онлайн говорилки.

Синтезаторы речи имеют довольно широкий спектр применения. В первую очередь подобные программы будут полезны людям с ограниченным возможностями. К примеру, изначально синтезаторы речи предназначались для людей, которые имеют проблемы со зрением и не могут читать текст с монитора.

Говорилки могут стать хорошим помощником в процессе обучения. К примеру, их можно использовать чтобы слушать иностранную речь и тренировать таким образом восприятие. Также синтезатор речи применяют для того, чтобы слушать книги, занимаясь при этом бытовыми делами.

Лучшие онлайн говорилки

На сегодняшний день веб-говорилки в плане качества воспроизведения ничем не уступают десктопным программам. Интернет-утилиты способны читать с различной скоростью, тембром и пр. Рассмотрим же самые популярные преобразователи текста в речь.

Но для начала стоит подметить, что большинство онлайн синтезаторов речи ограничивают возможность бесплатного воспроизведения. Веб-утилиты дают прослушать пару сотен символов, чтобы пользователь смог оценить качество сервиса. За полный функционал придется заплатить определенную сумму.

Acapela

Acapela – это один из самых популярных речевых синтезаторов. Веб-утилита поддерживает более 30 языков. Одно из главных достоинств этого интернет-ресурса – огромное количество голосов. Для того же английского доступно около 20 тембров (женщина, мужчина, ребенок, подросток, радостный и пр.). К сожалению, российский язык обделили. Для воспроизведения текста на русском доступен лишь один женский голос.

Веб-программа имеет минимальное количество настроек. Благодаря этому разобраться с управлением сможет любой. Чтобы воспроизвести текст надо всего лишь:

1. Кликнуть на первое поле. Появится список, в котором необходимо выбрать язык воспроизведения.
2. Нажмите на следующее поле. В списке нужно выбрать один из предложенных тембров.
3. В большое поле введите текст, который необходимо превратить в аудио дорожку.
4. Затем надо согласиться с правилами сервиса. Чтобы сделать это, ставим галочку напротив соответствующего пункта. Появится кнопка Listen, нажав на которую можно прослушать введенный ранее текст.

Звучание у веб-программы вполне достойное. Максимальное количество символов, которые можно озвучить – 300.

Linguatec

Также стоит обратить свое внимание на сервис под названием Linguatec . Это немецкий интернет-ресурс, который пользуется огромной популярностью и за пределами родины. И это вовсе не удивительно. Веб-сервис поддерживает более чем 40 языков (само собой, в их число входит и русский). Что интересно, Linguatec способен воспроизводит различные диалекты. К примеру, имеется несколько версий английского: британский, американский, австралийский, ирландский и пр. Благодаря этой функции Linguatec – это отличная программа для тех, кто хочет узнать правильное произношение того или иного слова на иностранном языке.

Текст можно воспроизводить как мужским, так и женским голосом. Лимит бесплатного воспроизведения составляет 250 символов. Чтобы получить полный функционал, придется приобрести десктопный синтезатор речи. Его стоимость составляет 30 евро.

Как использовать онлайн синтезатор речи? Необходимо руководствоваться следующей инструкцией:

1. Кликните на выпадающий список под надписью Voice Reader и определите язык воспроизведения.
2. В выпадающем списке, который расположен немного ниже, определите голос. К примеру, для немецкого языка тут всего несколько вариантов произношения: мужской голос — Yannick и Markus, женский – Petra и Anna.
3. Теперь введите текст, который надо воспроизвести, в соответствующее поле. Помните, что его размер не должен превышать 250 знаков (с учетом пробела).
4. Чтобы преобразовать символы в аудио, необходимо кликнуть на кнопку со стрелочкой.

Oddcast

Oddcast – это довольно известная компания, которая занимается созданием интерактивных-компаньонов для различных брендов. Также у фирмы имеется свой собственный синтезатор речи, который можно использовать чтобы воспроизвести текст. Веб-утилита поддерживает около 30 языков. Большинство имеют несколько вариаций женского и мужского голоса. Программа способна воспроизвести текст величиной до 170 символов.

Отличительная черта данного сервиса – анимированная модель. Она следит за курсором и во время воспроизведения текста шевелит губами. Модель не несет в себе никакого полезного функционала. Ее цель – продемонстрировать возможности компании Oddcast.

Работать с Oddcast очень просто. Необходимо настроить основные характеристики веб-утилиты. Всего в программе предусмотрено 5 параметров:

• Enter Text. Сюда пишем текст, который необходимо преобразовать в речь.
• Language. Тут надо выбрать язык, на котором текст будет воспроизведен.
• Voice. Выбираем голос для чтения (их количество зависит от выбранного языка).
• Effect. Oddcast позволяет наложить на озвученный текст голосовые эффекты. Выбор довольно велик. Есть функция ускорения, эхо, питча и т.д.
• Level. Позволяет настроить выбранный эффект. К примеру, если вы используете ускорение, то с помощью данного поля вы можете установить насколько быстро текст будет воспроизводиться.

Изменив характеристики под свои потребности, можете запустить говорилку. Для этого необходимо кликнуть на кнопку Say it.

iSpeech

Еще один сервис, на который стоит обратить свое внимание – iSpeech . Веб-утилита имеет хороший голосовой движок, что положительным образом сказывается на качестве аудио. Сервис поддерживает около 30 языков. Максимальное количество символов, которые можно озвучить – 150.

Интерфейс сервиса выполнен в минималистичном стиле. Все сделано очень наглядно. Чтобы выбрать язык, кликаем на соответствующий флаг. Если надо определить тембр, кликаем на женскую или мужскую иконку. Кроме этого, программа имеет три режима воспроизведения. Можно прослушать текст в медленном, нормальном или же ускоренном темпе. Установив нужные параметры, надо кликнуть на кнопку Play. Начнется преобразование текста в устную речь.

iSpeech идеально подойдет для изучения иностранного. Во время воспроизведения утилита подсвечивает слова, которые были произнесены вслух. Благодаря этому можно узнать правильное звучание конкретного слова, не отвлекаясь при этом от темы текста. Еще одна особенность сервиса заключается в том, что озвученный фрагмент можно скачать на свой ПК в виде аудио дорожки. Тем не менее эта услуга доступна только владельцам платных аккаунтов, стоимость которых довольно высока. Самая дешевая подписка обойдется в 500 долларов.

Text-To-Speech

Text-To-Speech – синтезатор речи, который может похвастаться хорошим голосовым движком. Интернет-утилита обладает очень простым, незамысловатым интерфейсом. Программа поддерживает около 10 самых популярных языков. Само собой, в их число входит и русский. Чтобы работать с этим веб-ресурсом достаточно:

1. Выбрать параметры для озвучивания текста. Всего их два. Чтобы выбрать язык надо кликнуть на выпадающий список около надписи Language. Рядом можно заметить параметр Speed. Он отвечает за скорость чтения и устанавливается аналогичным образом.
2. Теперь надо ввести текст в соответствующее поле. Веб-утилита способна обрабатывать фрагменты, размер которых не превышает 1000 символов.
3. Далее необходимо кликнуть на кнопку Say it. Программа выдаст аудиофайл с вашим текстом. Прослушать его можно прямо на сайте.

Google Переводчик

Веб-сервис под названием Google Переводчик включает в себя говорилку. Пользоваться ей очень просто. Необходимо ввести текст в соответствующее поле и кликнуть на иконку динамика. Вуаля – робот прочитал указанный фрагмент. Google Переводчик имеет лимит на величину текста. Нельзя вводить больше 5000 символов.

Главное достоинство программы Google Переводчик заключается в том, что она поддерживает огромное количество языков. Тем не менее не обошлось и без ложки дегтя. Во-первых, нельзя изменить тембр голоса, скорость чтения и прочие параметры. Во-вторых, качество воспроизведение оставляет желать лучшего.

From-Text-To-Speech

Большой объем текста позволяет обработать веб-сервис под названием From-Text-To-Speech . Утилита способна конвертировать до 50 тысяч символов за раз. Это на порядок выше чем у конкурентов. Веб-программа поддерживает 10 языков, которые пользуются наибольшей популярностью. В их число входит и русский.

Чтобы воспользоваться веб-сервисом для начала надо настроить параметры озвучки. Благо их тут не так много. В первую очередь надо выставить язык и определить голос, который будет читать текст. Для русского доступен лишь один тембр – женский. Затем надо настроить скорость чтения. Всего есть четыре варианта: медленный, нормальный, быстрый и очень быстрый. Выставив подходящие параметры необходимо кликнуть на кнопку Create Audio File.

Начнется процесс конвертации. Как правило, это занимает не больше минуты. По окончании превращения произойдет переход на новую страницу. Там будет гиперссылка в виде надписи Download audio file. Надо кликнуть на нее ПКМ и в выпадающем списке выбрать вариант «Сохранить ссылку как». Выбирайте место на своем ПК и загружайте аудио. Файл сохраняется в формате MP3.

2уха

Нельзя не отметить отечественные сервисы для преобразования текста в аудио. Одним из лучших в этом деле является веб-сайт под названием 2уха . Главное достоинство сервиса – возможность работать с большими объемами текста. Если другие ресурсы озвучивают небольшие фрагменты до 200-300 знаков, то 2уха способен обработать 100 КБ текста. Это около 100 тысяч символов. И, что самое главное, все совершенно бесплатно.

Как же работать с сайтом 2уха? Все очень просто. Чтобы конвертировать текст в устную речь надо всего лишь:

Данный сервис определенно заслуживает внимания. Качество озвученного текста на вполне достойном уровне. Да и возможность обрабатывать огромные файлы тоже не может не радовать. Однако есть у веб-сервиса 2уха и недостатки. К примеру, количество доступных языков. Сервис работает только с русским.

В отличие от предыдущего представителя, Cantor 2 представляет собой более «продвинутую» систему для синтезирования вокальных партий, но уже за денежку. Он также имеет версию в виде отдельной программы. Хотя и vst-инструмент представляет собой аналог piano-roll в секвенсоре: взгляните на интерфейс (рис. 4).

Поскольку этот плагин обладает большим инструментарием, он может манипулировать большим количеством параметров голоса. Но начинать нужно всё равно с построения фразы по слогам. Как несложно догадаться, делается это посредством piano roll. Здесь же есть панель инструментов с привычными «карандашами», «ластиками» и т.п. Собственно, попробуем синтезировать упоминавшуюся выше фразу «hey, yo, come on»! Нарисуем события в виде прямоугольных областей, а также подпишем каждый из них, как на рисунке 5.

Как можно увидеть, слова написаны над событиями не все целиком. Например, слово «come on» разбито на два слога - «com» и «on». Внимательные пользователи заметят, что внизу автоматически прописаны фонемы - это довольно удобная функция. Если вдаваться в подробности и нюансы, то нужно очень хорошо представлять себе, что такое фонемы и прочие тонкие нюансы звучания речи, доступные разве что узким специалистам. Мы просто оставим это как есть и посмотрим как оно работает в общем. Но это не всё. Теперь в самой миди-партии дорожки Cantor 2 тоже нужно прописать партию, соответственно которой будут звучать наши слова (слоги). Сделаем так, как на рисунке 6.

Теперь можно включить проигрывание в секвенсоре и убедиться, что у нас появился некий звук на выходе.

Далее настроим некоторые нюансы звучания. Сразу оговорюсь, что для исследования всех нюансов настройки Cantor 2 нужно писать целую книгу. В рамках этой статьи мы рассмотрим общие параметры. Итак, во-первых, можно выбрать уже готовый голос. Доступно их около десятка. Открыть их можно в верхней части программы, в опции Load voice (рис. 7).

По-умолчанию был установлен «Nikki», но я переставил его на «Luther». Можете попробовать различные голоса, как женские, так и мужские.

Во-вторых, здесь есть секция эффектов (собственно, раздел Effects, рис. 8).

Доступно 4 эффекта - Distortion, Echodelay, Chorus и Reverb. Хотя эти же эффекты можно добавлять и отдельно.

Про секции Phoneme и Voice нет смысла рассказывать, т.к. они довольно сложны в освоении и разобраться в их настройках может разве что довольно узкий специалист. Хотя никто не мешает покрутить ручки в этих секциях и таким образом изменить звучание. Либо корпеть над теорией синтезирования речи, а также над руководством пользователя Cantor, чтобы понимать как это всё должно работать. В общем, довольно много параметров, довольно сложно и довольно примитивный звук получается в итоге.

Тем не менее, даже новичок, если постарается, сможет получить звучание, наподобие того, что получилось у меня.

Fruity Loops Studio

Возможно, многие из вас, увидев Fruity Loops, удивятся, каким образом он попал в эту статью, ведь это скорее, нежели синтезатор речи . Всё дело в том, что имеет в своём арсенале очень неплохой синтезатор речи. Называется он Speech Synthesizer. И хоть его нет в виде отдельного плагина, но можно вставить сам FL как vst-плагин в вашу рабочую станцию и там уже использовать его Speech Synthesizer. Но я всё же предпочитаю создавать речевую партию в самом FL, затем экспортировать её в аудиофайл, после чего использовать в любой рабочей станции.

Итак, попробуем создать партию из предыдущего примера непосредственно в FL Studio. Вставим этот плагин в наш проект (рис.9).

Как только мы добавим его в проект, автоматически появится окно, предлагающее ввести наш текст. Можно долго не думать и сразу ввести нашу фразу из примеров выше (рис. 10).

Кроме того, можно сразу же установить и другие параметры речи, такие как голос (доступно около 20 голосов), стиль произношения, режим (шёпотом, с придыханием, либо обычный) и настройки темпа и тональности. Советую сразу настроить темп (у меня он, допустим 140, соответственно темпу проекта). Кнопка Listen позволяет прослушать партию «на лету», до её создания. После того, как мы подобрали нужные параметры нажимаем галочку, программа предложит нам сохранить наш файл с созданной речевой партией и в проекте создаётся новая партия с вокалом (рис. 11).

Нам не нужно заморачиваться - Speech Synthesizer создал за нас дорожку, которая представляет собой Fruity Slicer с созданной в нём партией, разбитой по нотам, где каждому слову соответствует отдельная нота (на рисунке 11 справа как раз видно, что у нас есть партия с 4 кусочками). Кроме того, в piano roll созданы дорожки для нот с подписанными словами, что очень удобно (рис. 12).

Всё довольно наглядно и просто. Не нужно прописывать фонемы, подбирать слоги, чтобы фраза звучала правильно. Достаточно просто ввести фразу - она будет звучать уже довольно сносно и разборчиво. Затем также просто можно переставлять слова и экспортировать партию в желаемый аудиоформат. Можно убедиться самим, прослушав пример.

Что же лучше из рассмотренных синтезаторов речи?

Лично моё мнение: лучше живая речь, живой вокал. Если же выбирать из вышеупомянутых программ, то, безусловно по количеству настроек и параметров выигрывает Cantor 2. Тем более, что он претендует на звание не просто синтезатора речи, а даже вокального синтезатора. Если выбирать по удобству, простоте и качеству звучания, я отдаю предпочтение Speech Synthesizer из Fruity loops.

Дополнение от редакции

Есть ещё бесплатная программа для синтезирования речи - . Можно настроить различные параметры и после предпрослушки сгенерировать результат в звуковой файл.