V zložitých prostrediach môžu ľudia pochopiť význam reči lepšie ako AI, pretože nepoužívame len uši, ale aj oči.
Napríklad vidíme, že sa niečie ústa pohybujú a môžeme intuitívne vedieť, že zvuk, ktorý počujeme, musí pochádzať od tejto osoby.
Meta AI pracuje na novom dialógovom systéme AI, ktorý má naučiť AI, aby sa tiež naučila rozpoznávať jemné korelácie medzi tým, čo vidí a počuje v rozhovore.
VisualVoice sa učí podobným spôsobom, ako sa ľudia učia osvojiť si nové zručnosti, pričom umožňuje separáciu audio-vizuálnej reči učením sa vizuálnych a sluchových podnetov z neoznačených videí.
Pre stroje to vytvára lepšie vnímanie, zatiaľ čo ľudské vnímanie sa zlepšuje.
Predstavte si, že by ste sa mohli zúčastniť na skupinových stretnutiach v metaverze s kolegami z celého sveta, pripájať sa k menším skupinovým stretnutiam, keď sa pohybujú virtuálnym priestorom, počas ktorých sa zvukové reverby a tiembry v scéne správajú podľa prostredia.
To znamená, že dokáže súčasne získavať zvukové, obrazové a textové informácie a má bohatší model environmentálneho chápania, ktorý používateľom umožňuje zažiť „veľmi wow“ zvukový zážitok.
Čas odoslania: 20. júla 2022
