Нейронная сеть IP нацелена на SoCs, обрабатывающую сложную речь

Ресурсов достаточно для распознавания голоса в дальней зоне, когда пользователь находится на расстоянии нескольких метров от микрофона. Цифровые домашние помощники с голосовым управлением и автомобильная информационно-развлекательная система предназначены для применения.

Зачем обрабатывать речь на локальной печатной плате?

«Алгоритмы распознавания речи на основе нейронной сети выполняют больше задач локально, а не в облаке, из-за проблем с задержкой, конфиденциальностью и доступностью сети», - сказал Каденс.

Называется HiFi 5он имеет в два раза большую мощность обработки звука и в четыре раза больше обработки нейронной сети (NN) более раннего HiFi 4 DSP.

«Наша цель состоит в том, чтобы сделать большой словарный движок доступным на местном уровне, способным обрабатывать естественный язык», - сказал директор по маркетингу Cadence Джерард Эндрюс. «Мы исследовали нейронные сети с открытым исходным кодом для распознавания речи и разработали HiFi 5 для работы с этими типами сетей.

Элементы обработки включают в себя:

• Архитектура слотов с пятью очень длинными командными словами (VLIW), способная выдавать две 128-битные загрузки за цикл
• DSP множители-аккумуляторы:
  Поддержка 8 32x32bit MAC / цикл или 16 16x16bit MAC / цикл
  Дополнительные восемь MAC с плавающей запятой одинарной точности за цикл
• Нейронные сети-множители аккумуляторов:
  32 16 × 8 ПДК / цикл или 16 × 4 ПДК / цикл
  Опционально 16 MAC с плавающей точкой половинной точности за цикл

MAC DSP, согласно Эндрюсу, включают, например, поддержку насыщения, в то время как MAC нейронной сети оптимизированы для умножения векторного значения на матрицу. «Во многих нейронных сетях вы тратите огромное количество времени на умножение вектора на матрицу», - сказал он, добавив, что: выбор количества MAC для включения, а также типов данных и весовых длин для поддержки был основано на работе с клиентами HiFi 4.

Математика с плавающей точкой была включена для двух случаев использования - одинарная точность для голосового интерфейса для формирования луча и эхоподавления, и половинная точность для некоторых нейронных сетей. «Плавающая точка позволяет быстро выйти на рынок», - сказал Эндрюс. «Например, если вы разрабатываете что-то с плавающей запятой в MatLab, преобразование его в фиксированную точку отнимает много времени».

Множитель поддерживает 8-битные веса, потому что «большой тенденцией является квантизация до 8-битных весов для распознавания речи, что не требует слишком большого компромисса в точности. Вы видите представленные документы, в которых люди пытаются перейти на 4биты », - сказал Эндрюс. «Мы ожидаем, что большинство алгоритмов будут использовать наш множитель 16x8 бит: 16 бит для данных с микрофона и 8 бит для весов».

Для других весовых схем доступны 4-битная, 2-битная и 1-битная операции, а также 8-битная.

Ambiq Micro, производитель микроконтроллеров, основанных на «подпороговых» кремниевых процессах для экономии энергии, был первым клиентом HiFi 5.

«Чтобы решить чрезвычайно сложную задачу по внедрению вычислительно-интенсивных алгоритмов обработки дальнего поля на основе нейронных сетей и алгоритмов распознавания речи для чувствительных к энергии устройств, Ambiq Micro решил стать первым кремниевым лицензиатом Cadence HiFi 5 DSP», - сказал Ambiq vp из отдела маркетинга Аарон Грассиан. «Портирование HiFi 5 DSP на подпороговую платформу с оптимизированной мощностью Ambiq Micro позволяет разработчикам продуктов, ODM и OEM-производителям использовать все преимущества технологий от лидеров программного обеспечения аудио, таких как DSP Concepts и Sensory, добавляя интеграцию голосового помощника, управление и контроль, а также диалоговые интерфейсы для портативных, мобильных продуктов без ущерба для качества или времени автономной работы ».

Поддерживая интеллектуальную собственность, существует библиотека оптимизированных библиотечных функций, обычно используемых при обработке нейронных сетей - особенно для обработки речи. Эти функции предназначены для интеграции в популярные структуры машинного обучения.

HiFi 5 также совместим с библиотекой существующих аудио- и речевых кодеков и пакетами программного обеспечения для улучшения звука, оптимизированными для более ранних версий линейки продуктов HiFi фирмы.