V zložitých prostrediach môžu ľudia porozumieť významu reči lepšie ako AI, pretože používame nielen naše uši, ale aj naše oči.
Napríklad vidíme, že sa niekto pohybuje a intuitívne vieme, že zvuk, ktorý počujeme, musí pochádzať od tejto osoby.
Meta AI pracuje na novom dialógovom systéme AI, ktorý má naučiť AI, aby sa tiež naučila rozpoznať jemné korelácie medzi tým, čo vidí a počuje v konverzácii.
VisualVoice sa učí podobným spôsobom, ako sa ľudia učia zvládnuť nové zručnosti, čo umožňuje audiovizuálne oddelenie reči tým, že sa učí vizuálne a sluchové narážky z neznačených videí.
V prípade strojov to vytvára lepšie vnímanie, zatiaľ čo vnímanie ľudí sa zlepšuje.
Predstavte si, že sa dokážeme zúčastniť skupinových stretnutí v metaverse s kolegami z celého sveta, pričom sa pripojíte k menším skupinovým stretnutiam, keď sa pohybujú virtuálnym priestorom, počas ktorého zvuk revers a timbres v scéne robí podľa toho, čo sa podľa toho prispôsobuje životnému prostrediu.
To znamená, že môže získať audio, video a textové informácie súčasne a má bohatší model porozumenia životného prostredia, ktorý používateľom umožňuje mať zvukový zážitok „veľmi wow“.
Čas príspevku: júl 20-2022
