SpeechRecognizer

Распознавание речи: микрофон в текст, вживую — диктовка в поле, голосовые команды. Сервисный плагин, типизированная обёртка над зарегистрированным хостом сервисом "speech". Опционален по хосту: проверяй SpeechRecognizer.supported, прежде чем показывать кнопку диктовки.

Это плагин приложения: перечисли его в app.json — "plugins": { "speech": "*" } (один список на все платформы; вьюер le.codes регистрирует все официальные плагины, что бы ни было в списке).

Распознаватель — платформенный, а с ним и языки, качество и то, куда уходит звук: на iOS — от Apple (на устройстве для языков, которые оно умеет, иначе на серверах Apple), на Android — от Google (служба распознавания устройства; на телефоне без приложения Google её нет, и start() отклоняется с "unavailable"), в вебе — браузерный (Chrome отправляет звук в Google, Safari — в Apple; в Firefox его нет). Если нужна расшифровка, одинаковая везде, — голосовое сообщение в текст, — записывай через AudioRecorder и распознавай на своём сервере.

Обзор

TypeScript
const speech = new SpeechRecognizer()
speech.addEventListener('result', r => { field.value = r.transcript })   // промежуточные, потом финальный
speech.addEventListener('end', () => micButton.style({ opacity: 1 }))
speech.addEventListener('error', (code, message) => { if (code !== 'noSpeech') toast(message) })

micButton.onPress(async () => {
  if (speech.listening) return speech.stop()
  micButton.style({ opacity: 0.5 })
  await speech.start({ language: 'ru-RU' })      // одна фраза: заканчивается после паузы
})

API

TypeScript
new SpeechRecognizer()                                   // ничего не открывается до start()
SpeechRecognizer.supported: boolean                    // хост зарегистрировал сервис
SpeechRecognizer.supportedLanguages(): Promise<string[]> // BCP-47, отсортированы; [] там, где хост не может сказать (веб)

speech.start(options?: SpeechOptions): Promise<void>
speech.stop(): void                                      // завершить: финальный результат, потом end
speech.abort(): void                                     // выбросить услышанное: end без результата
speech.listening: boolean

speech.addEventListener('result', (r: SpeechResult) => void)
speech.addEventListener('speechStart' | 'speechEnd' | 'end', () => void)
speech.addEventListener('error', (code: SpeechErrorCode, message: string) => void)

interface SpeechOptions { language?: string, continuous?: boolean /* false */, interimResults?: boolean /* true */, onDevice?: boolean /* false */ }
interface SpeechResult { transcript: string, isFinal: boolean, confidence: number | null }
type SpeechErrorCode = "noSpeech" | "audio" | "network" | "denied" | "aborted" | "unavailable" | "failed"
  • Разрешения — на распознавание речи (у iOS для него свой диалог) и на микрофон — хост запрашивает при первом start() (@permission speech microphone в контракте); отказ отклоняет с "denied". Чтобы спросить раньше или после отказа отправить пользователя в настройки, используй permissions (Разрешения).
  • По умолчанию — одна фраза: прослушивание заканчивается после паузы в речи (финальный результат, потом end). continuous: true слушает дальше, по финальному результату на фразу, пока не вызовешь stop().
  • interimResults доставляет промежуточные результаты, пока пользователь говорит (isFinal false), каждый — вся фраза на данный момент: заменяй, а не дописывай. confidence приходит с финальным результатом там, где распознаватель его сообщает (Apple, браузер); иначе null.
  • onDevice: true оставляет звук на телефоне: iOS 13+ и Android 12+, если у устройства есть модель для языка, иначе "unavailable". Веб это игнорирует.
  • "noSpeech" — ошибка прослушивания, в котором ничего не услышано; это не сбой приложения, и сообщение обычно не нужно.
  • На iOS прослушивание длится не больше примерно минуты; непрерывное перезапускается само.

Смотрите также

  • AudioRecorder — запись, которую можно отправить серверному распознавателю
  • Разрешения — permissions.request("speech"), openSettings()