Už to jsou dva roky, kdy Apple vypustil knihovnu ARKit a vývojáři mohli začít jednoduše vytvářet aplikace a hry pro rozšířenou realitu. Ze začátku knihovna nabízela pár základních funkcí, ale za dva roky vyrostla o tolik, že spousta lidí nechápe, čeho všeho je jejich iPhone schopen.

Apple se neustále snaží posouvat rozšířenou realitu a strojové učení (které jde ruku v ruce s AR) dopředu, ale dost naráží na hardwarová omezení. Zároveň vývojáři stále nepřišli s tím pravým využitím, které by celé odvětví posunulo o další level dál, aby lidé by začali používat AR aplikace na denní bázi. Proč tomu tak je a jak jsme od ideálu daleko?

Ukažte, co vymyslíte

Vypuštění knihovny ARKit na WWDC 2017 bylo velké překvapení. Apple je znám svou zásadou nevypustit nic, co si nejdřív sám nevyzkouší a hlavně neodladí. Když vložil do iPhonu 5S Touch ID, museli vývojáři čekat několik měsíců, než ho mohli využívat. U ARKit bylo ale vše jinak. Apple dal vývojářům nejprve celou knihovnu k dispozici a pak čekal na to, co s tím budou vývojáři dělat.

Vývojáři přicházeli s různými způsoby měření, malováním ve vzduchu, dinosaury na ulicích nebo s dekorací bytu. S posledním jmenovaným také přišla i švédská IKEA a vytvořila zatím asi nejlepší AR aplikaci, co se týče využití v reálném životě. Umístěním nábytku v reálné velikosti značně ulehčila zařizování bytu a zachránila nejeden pár od zničující návštěvy kamenné prodejny.

Co všechno tedy knihovna ARKit uměla? Jen to nejzákladnější. Detekce horizontálních ploch a umístění objektu. Společně s knihovnou Vision pro analýzu obrazu uměla také detekovat obličej a jeho části, a od září 2017 uměla využít i True Depth kameru pro snímání 52 svalů na obličeji. Detekce ploch ale byl ten naprostý základ, který ušetřil vývojářům desítky hodin vlastního vývoje.

Pokud máte správné světlo a správné prostředí, iPhone najde plochu, na které se potom vše odvíjí. Správné prostředí znamená rovnou plochu s dobře rozpoznatelnou texturou. Pokud se budete snažit najít plochu na bíle dlaždicové podlaze, nic nenajdete. S detekovanou plochou se potom dají dělat divy.

Plocha je detekována pomocí několika senzorů. Tím hlavním je kamera, respektive obraz z kamery. Ten se analyzuje pomocí algoritmů strojového učení, kdy se klade velký důraz na význačné body v obraze a na jejich změny v průběhu celého snímání. Dále do hry vstupuje kompas a gyroskop, které dodávají data o poloze iPhonu. Všechny senzory dohromady dají detekovanou plochu, kterou zvládají v průběhu celé relace aktualizovat a získávat tak ještě přesnější výsledky.

Vylepšení, kam se podíváš

První nečekané vylepšení přišlo pár měsíců před WWDC 2018. Verze 1.5 přinesla detekci vertikálních ploch, a navíc zvládala detekovat jiné plochy než jen čtvercové. O pár měsíců později vyšel ARKit 2. Ten dokázal detekovat obrazy, ukládat celé relace a hlavně zvládal sdílet relace mezi zařízeními v reálném čase.

Apple si od toho updatu sliboval velké věci. Na úvodní keynote WWDC 2018 představil některé nové funkce na skvělém demu ve spolupráci s Legem. Uprostřed stolu stála z lega postavená budova a na obrazovkách dvou iPadů se dělo úžasné dobrodružství, kdy jste viděli nejen onu budovu, ale rovnou celou malou ulici, auta, vrtulníky, dokonce i vnitřky budov.

Kýžený efekt se ale nedostavil a zájem o AR začal pomalu ale jistě upadat. Například twitterový účet Made with ARKit se přestal aktualizovat už na začátku roku 2018. Další významná stránka AR projektů Awesome ARkit se naposled aktualizovala před 8 měsíci.

Jedna z novinek v ARKit 2 byla mezi širokou veřejností trestuhodně nevyužitá. Je to detekování obrazů. Představte si situaci, že jste v muzeu. Namíříte telefonem na vystavovaný obraz a ihned vám to najde všechny informace o obrazu nebo autorovi a zobrazí vám je hned vedle obrazu. Proč se tato novinka neuchytila? Základní problém spočívá v tom, že telefon k opravdu rychlé (téměř instantní) detekci obrazu musí mít vzory obrazů uložené lokálně – nemůže je stahovat ze serveru. To potom dělá aplikaci příliš velkou na stažení i na prostor v telefonu. Obyčejní uživatelé, kteří mají základní velikost úložiště, si potom umístění aplikace do telefonu moc dobře rozmyslí. Druhý problém je, že na to musí vytahovat telefon z kapsy, ale o tom až později.

Nečekaně velká třetí verze

Když Apple vydal ARKit, prohlásil, že budoucnost je v rozšířené realitě. Již několikrát jsme se mohli přesvědčit, že když Apple má nějakou vizi, jde si za ní, co to jde. Spousta lidí se smála, že iPhone nikdo nebude používat. Ještě více lidí nechápalo, k čemu je dobrý tablet nebo chytré hodinky. Ale Apple je vždy přesvědčil, tím, že si našel své místo na trhu. Ať už to trvalo kratší nebo delší dobu. A podobně si stojí i za rozšířenou realitou.

Nečekalo se, že Apple na WWDC 2019 vydá nějaký zásadní balík novinek týkající se rozšířené reality. Ale to, co předvedl, to je technologický skok o několik let dopředu. Je velmi pravděpodobné, že nyní se novinky opět neuchytí, ale za pár let to vše nejspíš bude do sebe pěkně zapadat a dávat obrovský smysl.

A co tedy Apple představil? Osobně za největší novinku považuji People Occlusion. Když jste před ARKit 3 vložili do scény digitální objekt, nebral v potaz pozici vůči lidem. To znamenalo, že když jste těsně před kameru vložili ruku, všechny digitální objekty se objevily před ní. Nyní je tomu konec. Zařízení dokáže detekovat pozici lidí (nebo jejich částí) a podle toho umísťovat objekty před ně nebo za ně. To je obrovský technologický skok a je to nesmírně náročné na hardware. První testy ale ukazují, že nám Apple nenaservíroval nějaký nedodělek, vše funguje tak, jak má.

Další novinkou je technologie Motion Capture, která zvládne detekovat pohyby lidského těla v reálném čase a poté je přenášet na digitální objekty. Americký režisér James Cameron, který stojí za spoustou převratných digitálních triků, včetně digitálních bytostí, vyvíjel několik let technologii, kterou by natočil svůj zatím největší film Avatar. Technologie Motion Capture už byla tehdy často používaná (mimo jiné i v Pánovi Prstenů nebo Polárním Expresu), nebyla ale na takové úrovni, aby digitální postavy vypadaly věrohodně. Cameron to vylepšil tím, že vytvořil kameru určenou ke snímání svalů na obličeji. Nyní, po deseti letech od premiéry, máme ve své kapse zařízení, které dokáže skvěle snímat obličej a nyní i pohyby celého těla.

ARKit 3 dále přináší vývojářům knihovnu RealityKit, která zvládne získat data o okolním prostředí a aplikovat je na digitální objekt. Objekt tak vypadá, jako by do prostředí opravdu patřil a skvěle reaguje na okolní světlo nebo na různé odlesky od jiných objektů. Další novinkou je možnost zároveň snímat obraz jak z přední kamery, tak ze zadní. A pokud máte True Depth kameru, AR aplikace zvládne nyní snímat až tři obličeje. A je samozřejmé, že s ARKit 3 přišla řada vylepšení stávajících funkcí.

Budoucnost rozšířené reality

Jak už jsem zmínil, spousta uživatelů nechce používat AR aplikace, protože na ně musí vytahovat telefon z kapsy a čekat, než se detekují různé plochy. To zabírá moc času, což je v dnešní instantní době nežádoucí. Je tedy zřejmé, že iPhone nebo iPad nejsou ideální zařízení na rozšířenou realitu. Ideálním zařízením by byly brýle, neustále zapnuté, a hlavně na očích.

Vžijme se teď do kůže člověka, který vymýšlí takové brýle. To, co teď umí iPhony v rámci rozšířené reality, je hlavně díky jeho vnitřnostem. Díky senzorům, čipům a hlavně baterii, která dostává dost zabrat. Teď si představte, že takové brýle máte na sobě celý den. To znamená, že baterie musí vydržet alespoň 10 hodin. Baterie se ale při silném použití přehřívá, jak ji tedy chladit? A jak to udělat co nejlehčí a nejmenší, aby bylo nošení pohodlné. A co když někdo potřebuje dioptrické brýle? A nesmíme zapomínat také na letní slunce a ochranu očí před ním. A jak to bude vypadat na ulici? Budou lidé chodit s chytrými brýlemi na očích? Jak se designově odliší? A co vnímání opravdové reality? Zapomeneme po pár letech na to, jak vypadá skutečný svět? A co ochrana soukromí? Už dnes vznikají aplikace, které vám jen na základě obrazu vypočítají, jak asi vypadá nahé lidské tělo. Otázek je opravdu hodně.

Chytré brýle už před několika lety představil Google. Jeho Google Glass byl rozhodně zajímavý produkt. Ovšem k obyčejným lidem se nedostal. Je dost možné, že Google s tím přišel moc brzy. Ovládání bylo celkem náročné, a hlavně pro brýle neexistovalo žádné využití. Nikdo nemůže říct, že Apple pracuje na chytrých brýlí nebo na něčem podobném, dokud je Apple oficiálně nepředstaví, ale to, co můžeme říct, je, že si pro to připravuje půdu. Apple zaměstnává spoustu chytrých a kreativních lidí. Dohromady nám skládají obraz světa, ve kterém by chtěli žít. Nyní to vypadá, že chtějí žít v rozšířené realitě. Nejprve vydali softwarové nástroje pro vývojáře, potom vytvořili vlastní čip, který zvládne obří dávku výpočetních operací. Co nás čeká dál?