SpeechRecognizer
Распознавание речи: микрофон в текст, вживую — диктовка в поле, голосовые команды. Сервисный
плагин, типизированная обёртка над зарегистрированным хостом сервисом "speech". Опционален по
хосту: проверяй SpeechRecognizer.supported, прежде чем показывать кнопку диктовки.
Это плагин приложения: перечисли его в app.json — "plugins": { "speech": "*" } (один список на
все платформы; вьюер le.codes регистрирует все официальные плагины, что бы ни было в списке).
Распознаватель — платформенный, а с ним и языки, качество и то, куда уходит звук: на iOS — от
Apple (на устройстве для языков, которые оно умеет, иначе на серверах Apple), на Android — от Google
(служба распознавания устройства; на телефоне без приложения Google её нет, и start() отклоняется
с "unavailable"), в вебе — браузерный (Chrome отправляет звук в Google, Safari — в Apple; в Firefox
его нет). Если нужна расшифровка, одинаковая везде, — голосовое сообщение в текст, — записывай через
AudioRecorder и распознавай на своём сервере.
Обзор
const speech = new SpeechRecognizer()
speech.addEventListener('result', r => { field.value = r.transcript }) // промежуточные, потом финальный
speech.addEventListener('end', () => micButton.style({ opacity: 1 }))
speech.addEventListener('error', (code, message) => { if (code !== 'noSpeech') toast(message) })
micButton.onPress(async () => {
if (speech.listening) return speech.stop()
micButton.style({ opacity: 0.5 })
await speech.start({ language: 'ru-RU' }) // одна фраза: заканчивается после паузы
})API
new SpeechRecognizer() // ничего не открывается до start()
SpeechRecognizer.supported: boolean // хост зарегистрировал сервис
SpeechRecognizer.supportedLanguages(): Promise<string[]> // BCP-47, отсортированы; [] там, где хост не может сказать (веб)
speech.start(options?: SpeechOptions): Promise<void>
speech.stop(): void // завершить: финальный результат, потом end
speech.abort(): void // выбросить услышанное: end без результата
speech.listening: boolean
speech.addEventListener('result', (r: SpeechResult) => void)
speech.addEventListener('speechStart' | 'speechEnd' | 'end', () => void)
speech.addEventListener('error', (code: SpeechErrorCode, message: string) => void)
interface SpeechOptions { language?: string, continuous?: boolean /* false */, interimResults?: boolean /* true */, onDevice?: boolean /* false */ }
interface SpeechResult { transcript: string, isFinal: boolean, confidence: number | null }
type SpeechErrorCode = "noSpeech" | "audio" | "network" | "denied" | "aborted" | "unavailable" | "failed"- Разрешения — на распознавание речи (у iOS для него свой диалог) и на микрофон — хост
запрашивает при первом
start()(@permission speech microphoneв контракте); отказ отклоняет с"denied". Чтобы спросить раньше или после отказа отправить пользователя в настройки, используйpermissions(Разрешения). - По умолчанию — одна фраза: прослушивание заканчивается после паузы в речи (финальный
результат, потом
end).continuous: trueслушает дальше, по финальному результату на фразу, пока не вызовешьstop(). interimResultsдоставляет промежуточные результаты, пока пользователь говорит (isFinalfalse), каждый — вся фраза на данный момент: заменяй, а не дописывай.confidenceприходит с финальным результатом там, где распознаватель его сообщает (Apple, браузер); иначе null.onDevice: trueоставляет звук на телефоне: iOS 13+ и Android 12+, если у устройства есть модель для языка, иначе"unavailable". Веб это игнорирует."noSpeech"— ошибка прослушивания, в котором ничего не услышано; это не сбой приложения, и сообщение обычно не нужно.- На iOS прослушивание длится не больше примерно минуты; непрерывное перезапускается само.
Смотрите также
- AudioRecorder — запись, которую можно отправить серверному распознавателю
- Разрешения —
permissions.request("speech"),openSettings()