Dhyan ShanasaAno passado, na NAB, a Lytro apresentou sua nova câmera inovadora: a Lytro Cinema. Este ano, a desenvolvedora de softwares The Foundry (empresa criadora do Nuke) introduziu a Elara, uma plataforma revolucionária para a produção de VFX na nuvem. Um dos principais colaboradores da The Foundry no desenvolvimento da Elara foi a Lytro. Essa colaboração entre duas forças inovadoras pode impactar drasticamente o futuro dos efeitos visuais e da indústria VFX como um todo.
O fim das green screens e rotoscopia?
Muito foi dito sobre o potencial da Lytro Cinema tornar completamente obsoletos o uso de green screen e rotoscopia. Isso é mais do que apenas uma novidade; significa uma mudança drástica na maneira como os efeitos visuais são feitos.
Eis os fatos: rotoscopia e green screens são as tecnologia mais atrasadas de todas as áreas do VFX. Parece quase surreal que, enquanto a tecnologia nos permite simular realisticamente o comportamento infinitamente complexo da água, ou calcular com precisão o modo como milhões de partículas de areia interagem com o ambiente, os artistas de rotoscopia ainda estão minuciosamente rastreando os contornos de um objeto, movendo manualmente centenas de pontos frame-a-frame. E as green screens? Mostre-me um cineasta que não ficará feliz em livrar-se desses objetos volumosos, que causam mais danos que soluções. Está na hora de abandonar isso.
O poder principal da Lytro é sua capacidade de capturar informações precisas por pixel de profundidade. Com a separação baseada na profundidade, você pode facilmente manter ou descartar áreas no quadro de acordo com sua distância da câmera. Isso nos deixa mais próximos da terra prometida do VFX: uma terra sem green screens antinaturais ou rotoscopias tediosas. Mas a tecnologia Lightfield pode realmente superar os desafios da extração e fornecer uma alternativa igual (se não melhor), aos métodos atuais?
Objetos sólidos com arestas bem definidas nunca são problema para extrair, com roto ou usando green/blue screens. Mas as bordas são frequentemente macias e semi-transparentes por causa de sub-detalhes de pixels, do defocus ou do motion blur, e é aí que coisas se tornam complicadas. A técnica de Extract (Extração), raramente se resume a apertar um botão; exige habilidade, tempo e trabalho duro para produzir compositores de calibre. A extração baseada em profundidade sofrerá as mesmas deficiências? Vamos dar uma olhada em alguns desses problemas comuns:
Detalhes em Sub-pixels
Fios de cabelo e pelos são muito difíceis de extrair porque os detalhes são minúsculos. Fazer rotoscopia em cabelo é um pesadelo, e os resultados raramente preservam os detalhes originais. Green screens funcionam melhor para detalhes em sub-pixels, mas ainda assim é um desafio obter uma extração que não fique estranha e com ruído. Nesse sentido, a Depth-based separation não é diferente. É muito provável que as informações de profundidade em sub-pixels seja parcial ou inconsistente, apresentando desafios semelhantes aos artistas VFX.
Mas eis a boa notícia: o incrível sensor de 755 Megapixels do Lytro Cinema permite uma cobertura de pixels suficiente para tudo, ate o mais ínfimo detalhe, o que promete um canal de profundidade preciso e uma separação suave, detalhada e sem ruído.
Os shots podem ser capturados com bordas bem definidas, permitindo uma separação e manipulação otimizadas em toda a profundidade de campo.
Bordas desfocadas
Este é sempre um grande desafio de extração, por duas razões: primeiro, é notoriamente difícil preservar com sucesso as bordas macias e gradualmente dissipadoras de elementos desfocados (isso se torna um desafio ainda maior quando uma cena contém elementos focados e desfocados que se sobrepõem).
Em segundo lugar, as bordas desfocadas são semitransparentes e carregam algumas das informações do fundo original. Na ausência de um fundo sólido verde ou azul, detalhes do fundo original aparecerão mesmo quando for substituído. Para evitar isso, muitas vezes extrai-se até o último pixel sólido e, em seguida, artificialmente se recria bordas desfocadas. Isso é, evidentemente, mais gambiarra que solução.
É aí que o Lytro Cinema pode realmente brilhar: ela permite que você use as informações de profundidade para alterar o foco em pós. Esse tão comentado recurso, não é apenas bom para DPs e diretores, é significativo para efeitos visuais também. Isso significa que as cenas podem ser capturadas com bordas bem definidas para uma separação e manipulação otimizadas em toda a profundidade de campo. Quando a extração é feita, o desfoque (desfoque óptico verdadeiro, não um hack 2D), pode ser aplicado em qualquer ponto focal.
Motion Blur Edges
Assim como o desfoque, bordas e elementos movimentando rápido são difíceis de extrair e preservar. E assim como com o desfoque, artistas VFX frequentemente “apagam” os rastros originais de motion blur, recriado-os artificialmente na composição. Mas isso é ainda mais complicado do que recriar desfoque, porque motion blur deve estar em sincronia com a velocidade e direção dos elementos em movimento.
Em imagens 2D, só podemos analisar o movimento em 2D (esquerda-direita e cima-baixo). A coisa fica ainda mais complicado quando os elementos sobrepostos têm movimentos contraditórios. Imagine dois atores envolvidos em uma luta furiosa enquanto são filmados por uma câmera na mão em movimento frenético. Há tantos movimentos contraditórios e sobrepostos que qualquer tentativa de gerar vetores de movimento coerentes em 2D acabará em confusão completa.
Aqui novamente, as capacidades da Lytro Cinema são muito promissoras. Em taxas de até 300 quadros por segundo, ela pode capturar com praticamente zero motion blur. Mas, ao contrário de uma câmera digital padrão, a Lytro permite que você reaplique um verdadeiro e acurado motion blur 3D, até o nível de um pixel. Isso permite que você corrija a filmagem à velocidade normal e adicione o motion blur em pós para uma verdadeira sensação de 24 FPS.
Estamos chegando a um ponto em que, mesmo grandes instalações VFX, estão lutando para acompanhar o tamanho dos arquivos.
Então, qual é o problema?
É bastante claro que a cinematografia Lightfield representa grandes vantagens para o fluxo de trabalho VFX, e provavelmente irá substituir os métodos de baixa tecnologia como rotoscopia e green screens. Deixando de lado o fato de que a Lytro Cinema ainda é um protótipo volumoso e caro, não sendo prática para a produção média de filmes (muito menos para cineastas independentes), podemos analisar a evolução das câmeras digitais e tecnologias de computação nos últimos 10 anos, assumindo que a tecnologia Lightfield se tornará mais acessível (e portátil), em questão de poucos anos.
O grande problema é o tamanho dos arquivos. São muito, muito grandes. A combinação de taxas de quadros extremamente altas, resolução muito alta e múltiplas passagens com cargas de informações por quadro significa que toda a pipeline – desde a captura até a pós -, tem que lidar com quantidades maciças e debilitantes de dados. E é aqui que entra a Elara.
VFX na nuvem
Problemas com arquivos pesados não coisa nova e introduzidas com a Lytro. Poucos anos atrás a resolução padrão para efeitos visuais era de 2K, mas hoje os estúdios VFX são freqüentemente solicitados a trabalhar em 4K, 6K e até 8K. VR e projetos de 360 requerem resoluções ainda mais altas. Manipular e visualizar fotos nessas resoluções é dolorosamente lento, as velocidades de servidor e as capacidades de armazenamento não conseguem acompanhar os tamanhos de arquivos robustos e os tempos de renderização de cenas CG aumentam exponencialmente. Estamos rapidamente chegando a um ponto em que mesmo grandes instalações VFX estão sufocando.
A Elara, da The Foundry, está quebrando as limitações das pipelines VFX existentes, oferecendo um novo paradigma – toda pipeline, incluindo o software, processadores de armazenamento e renderização, ficam na nuvem. Artistas VFX trabalham remotamente através de um navegador web padrão, e eles podem fazer praticamente qualquer coisa usando um laptop médio, ou mesmo um tablet (internet rápida é praticamente a única exigência).
Os assets são mantidos em um único lugar e são facilmente compartilhados entre produção, editorial e as instalações VFX. Por exemplo, em uma sessão com a Lytro, a matéria-prima será enviada diretamente para a nuvem, e os artistas VFX farão seu trabalho lá, sem nunca baixar o material localmente. Os artistas poderão aproveitar o imenso poder de armazenamento e computação que a nuvem oferece. Ao invés de investir em hardware estático, as empresas VFX irão pagar pela potência exigida para cada projeto. É uma abordagem escalável que abre uma porta para novas e excitantes oportunidades.
O futuro do VFX
A plataforma baseada na nuvem Elara, pode mudar a indústria VFX, e essas mudanças afetarão a maneira como os cineastas trabalham com efeitos visuais. Os diretores e os produtores sentem-se frequentemente limitados pelo fato de que o VFX é feito em algum lugar remoto, longe da interação diária da equipe editorial. Mas com todo o fluxo de trabalho se movendo para a nuvem, hardware fixo e instalações físicas não importarão muito. Os cineastas serão capazes de montar uma equipe VFX in house, que poderia sentar em qualquer lugar, mesmo ao lado dos editores ou nos escritórios de produção.
Isso também pode ser uma grande benção para cineastas indie, que não podem pagar os altos custos gerais de grandes instalações VFX. Além disso, a Elara fará com que a colaboração entre indivíduos ou empresas em todo o mundo seja suave e direta. Com todos os recursos centralizados e facilmente acessíveis, e sem tempos de inatividade para downloads e uploads, qualquer pessoa de qualquer lugar poderia contribuir para o fluxo de trabalho.
Como mencionei, talvez a promessa mais significativa da Elara é o poder de armazenamento e computação quase ilimitado que permitirá aos artistas de VFX maximizar o potencial de futuras câmeras como a Lytro Cinema. Claro, vai demorar algum tempo antes da cinematografia Lightfield torna-se mainstream, e a rotoscopia e green screens não desaparecerão da noite pro dia. Quando a Lightfield (e talvez outras tecnologias?), se tornarem uma característica padrão das câmeras de vídeo de produção, os cineastas ficarão livres das limitações das green/blue screens. As cenas VFX serão mais fáceis e rápidas de configurar e não precisarão de iluminação ou equipamento especiais. Funções VFX como camera tracking, rotoscopia e keying não será mais necessárias, o que irá encurtar os tempos de pós-produção, reduzir os custos, e permitir que os cineastas desloquem seus orçamentos em efeitos visuais mais elaborados.
Com a Lytro e Elara tomando o centro do palco no mundo dos efeitos visuais, grandes mudanças estão chegando. Assistir tudo isso na primeira fila vai ser interessante. Veja a apresentação da Lytro e Elara da NAB abaixo:
– Traduzido e adaptado do original How Two Companies are Drastically Altering the Future of Visual Effects, por Eran Dinur do No Film School