Neuronové sítě vytvářejí z 2D záběrů 3D svět
Když byla před 75 lety Polaroidem pořízena první okamžitá fotografie, bylo průlomem rychle zachytit 3D svět v realistickém 2D obrazu. Dnes vědci pracují na opaku: Přeměnit během okamžiku sadu statických snímků na digitální 3D scénu.
Vytvoření 3D scény tradičními metodami trvá (v závislosti na složitosti a rozlišení vizualizace) hodiny i déle. Zavedení umělé inteligence (AI) do zpracování obrazu umožnilo tyto procesy podstatně zrychlit, ale zatímco pro člověka je odhadování hloubky a vzhledu objektu na základě částečného pohledu přirozenou dovedností, pro AI je to náročný úkol. Pokud je při snímání ve scéně 2D obrazu příliš mnoho pohybu, 3D scéna vygenerovaná AI bude rozmazaná.
Tady přichází ke slovu technologie NeRF společnosti NVIDIA, označovaná jako „pole neuronového záření“, která vyplňuje prázdná místa a trénuje malou neuronovou síť k rekonstrukci scény předpovídáním barvy světla vyzařovaného v libovolném směru, z jakéhokoli bodu ve 3D prostoru. Tato technika může dokonce obejít tzv. okluze, když jsou objekty na některých snímcích blokovány překážkami, např. sloupy.
Proces známý jako inverzní vykreslování využívá AI k přiblížení toho, jak se světlo chová v reálném světě, což umožňuje rekonstruovat 3D scénu na základě vstupní kolekce 2D obrázků. Neuronová síť k tomu vyžaduje několik desítek snímků pořízených z různých pozic, a také polohu fotoaparátu u každého z nich.
Dřívější modely NeRF vykreslovaly ostré scény bez artefaktů během několika minut, ale jejich učení zabralo celé hodiny. Nyní v NVIDIA Research vyvinuli přístup, který tento úkol zvládne téměř okamžitě, což z něj činí jeden z prvních modelů svého druhu, který kombinuje ultrarychlé trénování neuronových sítí a rychlé vykreslování.
Technologie založená na systému multi-resolution hash grid encoding zkracuje pomocí nové metody vstupního kódování s využitím malé, rychle běžící neuronové sítě dobu vykreslování o několik řádů. Výsledek nazývaný Instant NeRF je dosud nejrychlejší technikou NeRF, která v některých případech dosahuje více než 1000násobné zrychlení oproti předchozím řešením. Model potřebuje jen několik sekund k trénování na desítkách fotografií – plus údaje o úhlech kamery, z nichž byly pořízeny – a následně dokáže vykreslit 3D scénu během desítek milisekund.
Isha Shalian
Foto: NVIDIA
75
