Zvedněte telefon ještě dnes a zavolejte velké společnosti. Je pravděpodobné, že neuslyšíte osobu na druhém konci linky. Místo toho vás přivítá syntetický hlas, který vás požádá, abyste prošli bludištěm stisku tlačítek. Jedná se o automatický systém odezvy. Mnoho společností také modernizovalo tyto systémy. Nyní můžete často jen vyslovit klíčová slova. Nahrávka vám řekne, co máte říkat. Vy vyslovte. Systém vás přesměruje. Technologie za tímto kouzlem je software pro rozpoznávání řeči.
To neplatí jen pro call centra. Můžete jej použít doma nebo v kanceláři. Široká škála produktů umožňuje diktovat text přímo do textových procesorů nebo e-mailových klientů. Váš hlas se změní na psaná slova. Některé nástroje vám dokonce umožňují ovládat počítač hlasem. Otevřít soubory. Stiskněte menu. Provádějte příkazy. Existují programy zaměřené na úzké výklenky. Lékařský přepis. Právní dokumentace. Pracují s odborným žargonem.
Cenová dostupnost je dalším silným faktorem ve vývoji této technologie. Lidé se zdravotním postižením, kteří neumí psát na stroji, na tyto systémy silně spoléhají. Přestali jste používat ruce? Jste zrakově postižení a nemůžete používat braillskou klávesnici? Diktát tuto bariéru překonává. Umožňuje vám vyjádřit se prostřednictvím řeči. Zvládá úkoly, které by normálně vyžadovaly použití vašich prstů. Některé programy učíte vy. Ukládají data vaší řeči po každé relaci. Pokud se vaše řeč časem zhorší kvůli progresivnímu onemocnění, systém se přizpůsobí. Pokračujte v práci.
Moderní programy pro rozpoznávání řeči obecně spadají do dvou kategorií.
Зміст
Malý slovník / Mnoho uživatelů
Tyto systémy jsou stavěny pro měřítko. Zajišťují provoz těchto automatických telefonních menu. Zvládají obrovské množství hovorů od lidí s nejrůznějšími přízvuky a řečovými vzory. Systém většinou hádá správně. Ale je tu nuance. Použití je omezené. Jste omezeni na předdefinované příkazy. Základní možnosti nabídky. Podle čísel. Není zde žádná volná konverzace. Slovní zásoba je malá. Uživatelská základna je obrovská.
Velká slovní zásoba / omezený počet uživatelů
Toto nastavení je jiné. Je vytvořen pro konkrétní lidi na konkrétních místech. Myslete na podnikatelské prostředí. S programem pracuje malá skupina uživatelů. Přesnost je vysoká. Zkušení uživatelé dosahují přesnosti 85 procent nebo vyšší. Slovník? Desítky tisíc slov. Ale musíte ji trénovat. Software studuje váš hlas. Pro tyto základní uživatele to funguje nejlépe. Co když se toho pokusí použít někdo jiný? Přesnost prudce klesá. Významně. Systém není určen pro cizí osoby.
Starší systémy, staré více než deset let, čelily volbě mezi diskrétní a souvislou řečí. Diskrétní řeč je jednodušší. Slova vyslovujete samostatně. Mezi jednotlivými slovy uděláte pauzu. Počítač to zpracuje čistě. Ale to nikdo nechce říct. Je to nepřirozené. Uživatelé preferují běžné tempo konverzace. Souvislá řeč. To nyní zvládnou téměř všechny moderní systémy. Chápou tok dialogu. Filtrují pauzy.
Mluvili jsme s Johnem Garofolem, manažerem skupiny pro rozpoznávání řeči v laboratoři informačních technologií Národního institutu pro standardy a technologie, abychom získali technickou perspektivu. Se sestavením tohoto materiálu pomáhal i Joshua Senecal.
Od řeči k datům
Od tlaku vzduchu k binárnímu kódu
Začněte s nezpracovanými vstupními daty. Váš hlas je prostě fyzický tlak šířící se vzduchem. Než s ním počítač bude moci něco udělat, musí se analogová vlna stát digitální. Tento převod se provádí analogově-digitálním převodníkem (ADC). Signál nejen zaznamenává, ale také sampluje. Přesná měření se provádějí v rychlých, pevných intervalech. Výsledkem jsou data, která může procesor skutečně zpracovat.
Ale nezpracovaná data jsou nestrukturovaná. Proniká jimi hluk. Systém to filtruje. Někdy je zvuk rozdělen do různých frekvenčních rozsahů. Vnímáme to jako smůlu. Jindy jde o objem. Software normalizuje signál a udržuje jeho úroveň konstantní, takže šepot není ignorován nebo křik nepřetěžuje mikrofon. Může být také vyžadována synchronizace času. Lidé jsou nekonzistentní. Zrychlujeme, když jsme vzrušení, nebo protahujeme slabiky, když jsme unavení. Software musí roztáhnout nebo zkomprimovat vaši řeč, aby odpovídala vzorům uloženým v paměti.
Dělení na fonémy
Jakmile je signál čistý a časově vyrovnaný, je rozřezán na kousky. Drobné segmenty. Bavíme se o zlomcích vteřiny. Někdy jen pár setin. Ještě rychleji při práci s výbušnými souhláskami. Představte si prudké uvolnění vzduchu ve zvukech „p“ nebo „t“. Vyžadují přesnost, protože proud vzduchu je náhle přerušen a obnoven.
Zde se lingvistika setkává s kódem. Program spojuje tyto malé zvukové klipy se známými fonémy. Foném je minimální jednotka zvuku, která mění význam slova v jazyce. Není to dopis. Jde o samotný zvuk. V angličtině je přibližně 40 fonémů. V jiných jazycích je jich více. V některých – méně. Na těchto rozdílech záleží.
“Foném je minimálním prvkem jazyka – reprezentace zvuků, které vydáváme a kombinujeme, abychom vytvořili smysluplné výrazy.”
Software nevidí písmena. Vidí vzory zvuků. Analyzuje tyto mikrosegmenty a ptá se: “Kterému známému fonému je tento nejpodobnější?” Je to odpovídající hra, kde se hodně hraje o to, zda bude váš příkaz následován nebo ignorován.
Hlavním odporem je přechod od syrových zvukových vln k čitelnému řetězci znaků. Zdá se to triviální. Ve skutečnosti to není pravda. K tomuto kroku směřuje většina dnešního výzkumu rozpoznávání řeči, a to z dobrého důvodu. Systém neposlouchá pouze jeden izolovaný zvuk. Dívá se na fonémy – nejmenší jednotky zvuku – v kontextu jejich sousedů. Kontext je všechno. Zvuk, který zní izolovaně jako „kočka“, může být „netopýr“, pokud předchozí slovo bylo „já“.
Motor vezme tento kontextový graf fonémů a vloží jej do komplexního statistického modelu. To není jen párování vzorů. Toto je pravděpodobnost. Systém porovnává příchozí zvuková data s obrovskou knihovnou známých slov, frází a celých vět. Vypočítává, která kombinace bude nejpravděpodobněji vyslovena. Výstup není vždy dokonalý. Někdy systém odhadne správně. Někdy to produkuje nesmysly. Ale častěji než ne, převede váš hlas na text nebo provede počítačový příkaz s úžasnou přesností.
Mechanika za magií
Abyste pochopili, proč to funguje, musíte se podívat na to, jak software zvládá nejednoznačnost. Lidská řeč je chaotická. Lidé mumlají. Lidé se pozastavují. Lidé neustále říkají „ehm“ a „eh“. Naivní systém by se zhroutil, když by se to snažil zvládnout. Statistický model v tom prosperuje.
Proces se opírá o dva hlavní typy pravděpodobnosti: akustické modelování a jazykové modelování.
- Akustické modely určují, jaké zvuky jsou přítomny. Přiřazují zvukové signály k fonémům.
- Jazykové modely určují, která slova následují za kterými. Používají frekvenční data z obrovských textových korpusů k predikci dalšího nejpravděpodobnějšího slova.
Když řeknete „Chci jíst pizzu“, akustický model slyší zvuky. Jazykový model kontroluje pravděpodobnost této sekvence. Slovo „jíst“ bude spíše následovat po „chtít“ než „nenávidět“. Systém kombinuje tyto pravděpodobnosti, aby co nejlépe odhadl.
Rozpoznávání řeči je méně o sluchu a více o predikci na základě kontextu.
Proč kontext všechno mění
Zvažte slovo „číst“ (číst/číst). V minulém čase to zní jako „červená“. V přítomném čase to zní jako „rákos“. Bez kontextu nemůže systém vědět, jaký význam jste měli na mysli. V kontextu je to triviální. Pokud bylo předchozí slovo „včera“, předpokládá se minulý čas. Pokud je věta „Rád čtu“, předpokládá se přítomný čas.
To je důvod, proč velké jazykové modely změnily pravidla hry. Staré systémy se spoléhaly na rigidní gramatická pravidla. Nové systémy využívají neuronové sítě trénované na miliardách vět. Chápou nuance. Rozumí slangu. Chápou, že „jezme babičku“ (jezme babičku) je gramaticky správné, ale významově hrozné ve srovnání s „jízme, babičko“ (jezme, babičko).
Statistický model se dívá na víc než jen na aktuální foném. Podívá se na posledních deset. Možná za posledních dvacet. Kontextové okno rozšiřuje pravděpodobnostní prostor a umožňuje systému rozlišit zvuky, které by jinak byly identické.
Problém s knihovnou
Na velikosti slovníku záleží. Rané systémy rozpoznávání řeči byly omezeny na několik tisíc slov. Můžete ovládat televizi. Nemohl jsi pokračovat v konverzaci. Moderní systémy spoléhají na knihovny obsahující miliony záznamů. Velikost ale není jediným faktorem. Důležitá je kvalita knihovny.
Pokud model neslyšel konkrétní slovo vyslovené konkrétním
Systémy rozpoznávání řeči založené na pravidlech jsou minulostí, protože lidský jazyk se neřídí přísnými pravidly.
Rané systémy se pokoušely přiřadit mluvená slova přísným gramatickým strukturám. Pokud jste slova vyslovovali jasně, používali určitý dialekt a v pozadí nebyl žádný hluk, systém mohl fungovat. Ale zkuste mluvit jako Bostončan. Vypouštíte “r” ve “stodole”. Zní to jako “bawon”. Zkuste říct „Uvidím oceán“, aniž byste se zastavili na nádech. To se změní na “Jdu se podívat na oceán.” Slova splývají do sebe. Nejsou žádné pauzy.
Motory založené na pravidlech to nezvládly. Nebyli schopni zpracovat souvislou řeč. Musel jsem jasně vyslovit každé slovo zvlášť. Bylo to pomalé. Bylo to nepříjemné. To vedlo k chybám.
Jak statistické modelování řeší chaos
Moderní systémy se nespoléhají na rigidní gramatiku. Používají systémy statistického modelování. Pracují s pravděpodobnostmi. Matematické funkce předpovídají nejpravděpodobnější výsledek na základě dat.
Podle Johna Garofola, vedoucího skupiny pro rozpoznávání řeči v Laboratoři informačních technologií Národního institutu pro standardy a technologie (NIST), v této oblasti dominují dva modely: skrytý Markovův model a neuronové sítě.
Tyto statistické systémy vyžadují k dosažení optimálního výkonu obrovské množství referenčních trénovacích dat – někdy tisíce hodin přepsané lidské řeči a stovky megabajtů textu.
Obě metody využívají známá data k odvození skrytých informací. Zvažují pravděpodobnosti. Dělají kvalifikované odhady.
Vysvětlení skrytého Markova modelu
Skrytý Markovův model je průmyslovým standardem. Pojďme to rozebrat.
V tomto modelu je každý foném odkazem. Řetěz tvoří slovo. Řetěz se ale větví. Systém se snaží porovnat digitální zvuk s fonémem, který bude s největší pravděpodobností následovat. Každé možnosti přiřadí skóre pravděpodobnosti. To závisí na vestavěném slovníku a údajích o školení uživatelů.
S frázemi je situace ještě horší. Systém musí uhodnout, kde jedno slovo končí a druhé začíná.
Vezměme si frázi „rozpoznat řeč“. Řekni to rychle. Zní to jako „zničit pěknou pláž“.
Podívejte se na fonémy:
“rozpoznat řeč” *
r eh k ao g n ay z s p iy ch
“zničit pěknou pláž”
r eh k ay n ay s b iy ch
Rozdíl je nepatrný. Systém používá kontext – frázi, která se objevila dříve – k rozhodování. Proč je to důležité?
Pokud slovník programu obsahuje 60 000 slov, pak má tříslovná věta 216 bilionů možných kombinací.
Žádný počítač by nemohl provést takové vyhledávání tak rychle bez pomoci.
Cena přesnosti: Tréninková data
Tato pomoc pochází z dat. Je jich obrovské množství.
Garofolo poznamenává, že vytváření akustických modelů a seznamů slov vyžaduje tisíce hodin přepsané řeči. Potřebujete stovky megabajtů textu. Vybrat a sestavit tato data je umění. Záleží na tom, jak připravíte tréninková data pro trávení. To, jak „přizpůsobíte“ modely systému pro konkrétní aplikaci, znamená rozdíl mezi systémem, který funguje dobře, a systémem, který funguje špatně.
I při použití stejného základního algoritmu se implementace mohou značně lišit.
Vývojáři vytvoří počáteční slovník. Systém ale musíte trénovat i vy, uživatel. V obchodním prostředí mohou běžní uživatelé strávit mluvením do mikrofonu pouhých 10 minut. Tím se motor naučí jejich specifickým řečovým vzorům. Učíte ho i zkratky. Naučíte ho termíny specifické pro společnost.
Lékařský a právní software je často dodáván s předinstalovanou oborovou terminologií. Už jsou naladěni na tento kontext.
Ale i přes všechna tato data systémy stále selhávají.
Rozpoznávání řeči: Slabé stránky a nedostatky
Buďme upřímní: žádný systém rozpoznávání řeči není dokonalý. Technologie se samozřejmě zlepšuje, ale stále je náchylná k chybám. Některé z těchto problémů jsou vlastní současnému stavu technologie a doufejme, že zmizí, jakmile se algoritmy zdokonalí. Ostatní? Mohou být opraveny. To bude vyžadovat pouze určité úsilí z vaší strany.
Problém s hlukem
Software pro rozpoznávání řeči vás potřebuje slyšet. Jasně. Pokud je váš hlas smíchán s hlukem na pozadí, přesnost dramaticky klesá. Není to jen o tom, že vedle vás někdo nahlas mluví. Důležité je také zařízení, které přenáší signál do vašeho počítače.
Levné zvukové karty často nemají řádnou ochranu proti rušení. Zachycují elektrický brum a syčení z ostatních součástí uvnitř vaší počítačové skříně. Tento statický šum je zaznamenán. Program to považuje za součást vaší fráze.
Chcete-li dosáhnout dobrých výsledků, pracujte v tiché místnosti. Používejte kvalitní mikrofon. Udržujte jej blízko úst.
Zní to jednoduše. Většina lidí ale tyto rady ignoruje, dokud se jejich diktát nepromění v nesmysl.
Dabování hlasů je noční můra
Pokud se pokusíte použít rozpoznávání řeči na schůzce, kde se lidé navzájem vyrušují, budete mít vážné problémy. Moderní systémy mají velké potíže s oddělením simultánních hlasování.
„Pokud se pokusíte použít technologii rozpoznávání v konverzacích nebo schůzkách, kde se lidé často navzájem přerušují nebo mluví ve stejnou dobu, pravděpodobně dosáhnete extrémně špatných výsledků,“ říká John Garofolo.
Nejde jen o hlasitost zvuku. Jde o rozchod. Pro program je obtížné vyčlenit jeden hlas z chaotické směsice konverzací. Používejte tuto technologii spíše pro individuální práci než pro skupinové diskuse.
Zabírá procesor
Spuštění statistických modelů, které jsou základem rozpoznávání řeči, je obtížný úkol. Procesor musí pracovat na svých limitech. Proč? Potřebuje sledovat každou fázi hledání rozpoznaného slova. Pokud systém udělá chybu, musí se vrátit. To vyžaduje paměť. Chce to čas.
I ty nejrychlejší moderní osobní počítače se mohou při zpracování složitých příkazů udusit. Doba odezvy je výrazně pomalejší. A co slovníky? Zabírají místo na vašem pevném disku.
Dobrou zprávou je, že rychlost úložiště a procesoru se rychle zvyšuje. Za deset let uvidíme exponenciální růst obou ukazatelů. Hardwarové omezení je dočasné. Programová logika je složitější problém.
Homofony: stejný zvuk, jiný význam
Homofony jsou slova, která znějí stejně, ale mají odlišný pravopis a význam. „Tam“ versus „jejich“. „Vzduch“ (vzduch) versus „dědic“ (dědic). „Být“ (být) versus „včela“ (včela).
Software pro rozpoznávání řeči mezi nimi nedokáže rozlišit. Zvuk sám o sobě nenese informaci o pravopisu.
Kontext však pomáhá. Pečlivé trénování statistických modelů umožňuje systému uhodnout správné slovo na základě toho, co bylo řečeno před ním a po něm. Není to dokonalé, ale je to výrazně lepší než dřív.
Cesta k univerzálnímu překladači
Sen o tom, že na stroji budete mluvit jakýmkoli jazykem, sahá hlouběji, než byste si mysleli. Alexander Graham Bell s tím experimentoval před příchodem moderních počítačů. Jeho žena byla hluchá. Chtěl vytvořit zařízení, které by přeměnilo slyšitelná slova na viditelné obrazy, které by mohla interpretovat. Vytvořil spektrografické snímky. Nedokázala je přečíst. Tyto studie nakonec vedly k vynálezu telefonu.
Po celá desetiletí byla sci-fi jediným místem, kde vzkvétalo skutečné rozpoznávání řeči. Jednoduše nebyl dostatek výpočetního výkonu. Až v 90. letech byly spotřebitelské počítače schopny tuto zátěž zvládnout.
Teď? Díváme se na něco bližšího Star Treku.
Agentura pro pokročilé obranné výzkumné projekty (DARPA) financuje dvě hlavní iniciativy. První je Global Autonomous Language Exploitation (GALE). Tento systém absorbuje proudy vysílání zahraničních zpráv a novin. Překládá je. Cílem je okamžitý překlad mezi dvěma jazyky s alespoň 90procentní přesností.
Druhým je TRANSTAC. Pomáhá vojákům komunikovat s civilisty v zemích, kde se mluví jinými jazyky než anglicky. Garofolo poznamenává, že tato technologie nevyhnutelně najde uplatnění v civilních oblastech. Univerzální překladač pro každého.
Proč je to tak těžké?
Univerzální překladač je ještě daleko. Skloubit automatický překlad s hlasovým ovládáním je neuvěřitelně obtížné. Nedávný článek CNN popsal projekt GALE jako „DARPA hard“ podle standardů DARPA. To znamená, že je komplexní i podle extrémních standardů DARPA.
Proč? Existuje nekonečné množství proměnných.
- Slang se rychle mění.
- Dialekty se liší podle regionu.
- Akcenty se u různých mluvčích liší.
- Hluk na pozadí je rušivý.
Pak je tu gramatika. Arabština někdy používá jednotlivá slova k vyjádření myšlenek, které by vyžadovaly celé věty v angličtině. Mapování jedné struktury na druhou bez ztráty smyslu je výpočetní noční můra.
Od uznání k porozumění
Nyní jsme ve fázi, kdy počítače rozpoznávají slova. Brzy jim možná začnou rozumět. Statistické modely, které určují, co bylo řečeno, mohou nakonec zachytit význam za slovy.
Jde o obrovský skok ve výpočetním výkonu. To vyžaduje komplexní software. Někteří vědci však tvrdí, že vývoj rozpoznávání řeči nabízí nejpřímější cestu od moderních počítačů ke skutečné umělé inteligenci.
Nyní mluvíme s našimi počítači. Za 25 let se nám možná ozvou.
Demoverze systému Vista
Celá tato teoretická budoucnost nevadí, pokud současnost nefunguje. Pamatujete si ukázku rozpoznávání řeči ve Windows Vista? Bylo to selhání public relations.
Během prezentace si systém perfektně poradil se spouštěním programů a přístupem k dokumentům. Ve chvíli, kdy se pokusila rozeznat text, neuspěla. Selhání.
Pravděpodobná příčina? Místo. Velké hlediště s veřejností. Hluk na pozadí. Echo. Mikrofon zachytil vše kromě čistého signálu z reproduktoru.
Video obletělo internet. To poškodilo pověst systému Windows Vista. To poškodilo pověst rozpoznávání řeči obecně. Byla to ostrá připomínka, že i největší tech giganti mohou klopýtnout, pokud není prostředí kontrolováno.
Tuto oblast budeme i nadále sledovat. Technologie se zlepšuje. Ale propast mezi „použitelným“ a „ideálním“ je stále široká.
Kromě módních slov
Vystopovali jsme cestu od hrubých analogových vln ke komplexním neuronovým sítím, které pohánějí moderní hlasové asistenty. Ale úhlednou úklonou příběh nekončí. Jde hluboko do sítě výzkumných laboratoří, historických precedentů a technických překážek, které většina uživatelů nikdy nevidí.
Pokud hledáte mechaniku této magie, základní věda je méně o „naslouchání“ a více o rozpoznávání vzorů. Moderní software pro rozpoznávání řeči neslyší slova. Slyší pravděpodobnost. Rozbije váš hlas na drobné spektrální fragmenty a položí otázku: Která sekvence fonémů zde dává největší smysl?
Skrytá infrastruktura
Nemusíte se vrtat v kódu, abyste zjistili, proč váš chytrý reproduktor občas vynechá slovo. Často jde o kvalitu dat a kontext.
- Snížení šumu je první filtr. Eliminuje hučení v pozadí, takže se motor může soustředit na vokální trakt.
- Zpracování přirozeného jazyka (NLP) spravuje gramatiku. Promění frázi „Nastav budík na sedm“ ve strukturovaný příkaz.
- Identifikace mluvčího se pokouší určit, kdo mluví. To je důležité pro personalizované odpovědi, ale k dokonalosti to má daleko.
Centrum pro výzkum mluveného dialogu na University of Colorado studuje tyto interakce po desetiletí. Jejich práce zdůrazňuje klíčové zjištění: lidé jsou neuvěřitelně shovívaví. Rezervace ignorujeme. Odhadujeme na základě kontextu. Stroje zatím této úrovně nedosáhly. Stále klopýtnou kvůli nejednoznačnosti.
Proč na tom teď záleží
Iniciativy výzkumu řeči a řeči agentury DARPA v polovině roku 2000 připravily půdu pro moderní překladatelské nástroje v reálném čase. Cíl byl vždy jasný: odstranit jazyk jako bariéru. Výzva DARPA z listopadu 2006 byla víc než jen soutěž. To byl důkaz konceptu. Ukázalo se, že překlad řeči může fungovat v omezených podmínkách.
Dnes je tato technologie zabudována do všeho, od botů na help desku po služby živého titulkování. Ale propast mezi „funkčním“ a „plynulým“ zůstává široká.
Dědictví chyb
Raymond Kurzweil položil správnou otázku už v roce 1998: Kdy HAL pochopí, co říkáme? Odpovědí nejsou jen lepší mikrofony. Jde o kontextové povědomí.
Statistické metody Fredericka Jenelka pro rozpoznávání řeči položily matematický základ. Tvrdil, že řeč je problém komunikace, nejen akustiky. To posunulo zaměření průmyslu od systémů založených na pravidlech k pravděpodobnostním modelům. Právě tento posun umožňuje vašemu telefonu porozumět přízvuku, pro který nebyl nikdy výslovně trénován.
Kam odsud půjdeme?
NIST pokračuje v nastavování měřítek. Testují, jak si systémy poradí s přeplněnými místnostmi, špatným připojením a rychlým dialogem. Výsledky se zlepšují, ale pomalu.
Divize Speech Technologies společnosti Microsoft se zaměřuje na podnikovou integraci. Méně se zajímají o vaše inteligentní domácí osvětlení a více je zajímá, jak může lékař diktovat poznámky, aniž by narušil soukromí pacienta. Tady leží skutečné peníze. A tady leží skutečné problémy se soukromím.
Stroj neví, co jste řekli. Ví jen to, co si myslí, že bys mohl říct.
Toto rozlišení je kriticky důležité. Když se AI mýlí, není to halucinace v literárním smyslu
