Entrevista a Luís Grifu
As Tecnologias e a Invenção de Futuros
Ler o Mundo em Português – Qual a importância hoje das tecnologias multimédia e os desafios com que estão confrontadas?
Luís Grifu – A vertiginosa evolução das tecnologias multimédia dos últimos anos tem apresentado enormes desafios a artistas, designers e programadores. Estes desafios prendem-se fundamentalmente com a capacidade em acompanhar o ritmo alucinante a que estas tecnologias nos são apresentadas e de conseguir tirar o máximo proveito de todo o seu potencial.
Longe vão os tempos em que tínhamos de esperar dez anos para ver uma nova tecnologia implementada no mundo “real”. As pessoas tinham receio da mudança, vivíamos um sentimento de cepticismo em relação às tecnologias em geral, principalmente quando estas tinham impacto directo no nosso trabalho, ou no nosso quotidiano. Este receio era alimentado em parte pelo medo do desconhecido, pelo receio de por em causa a sua obra, pelo receio de perder o seu posto de trabalho resultante da sua não adaptação aos novos processos. Mas também, porque muitas destas tecnologias não eram centradas no utilizador, mas sim, centradas no seu criador, que teimava numa postura autista e determinista, sem se preocupar com o contexto da aplicação e sem facultar formação aos utilizadores. Vivíamos na idade “média” das interfaces do utilizador, sem cor, estáticas e sem metáforas com o utilizador se pudesse relacionar.
Em tempos trabalhei num estúdio de gravação no Porto onde imperava a tecnologia MIDI modular, ou seja, vários equipamentos de música ligados por cabos que comunicavam entre si. Era necessário configurar todos os equipamentos para cada música num processo realizado manualmente, sequencial e demorado. Quando consegui controlar todos os equipamentos através de um computador, configurando-os em segundos e apresentei o resultado ao meu colega, apesar de surpreendido sentiu-se diminuído e ultrapassado. Como se todas as suas competências tivessem sido colocadas em causa.
Não devemos subestimar as competências de cada um, as tecnologias multimédia devem expandir o potencial dos utilizadores ajudando-os a concretizar as suas ideias. Muitos artistas associavam os computadores a máquinas de repetir tarefas sem considerar o seu potencial como ferramentas criativas. Felizmente o paradigma mudou e os computadores passaram a ser máquinas universais acessíveis e com potencial criativo. A experiência do utilizador passou a ser o valor primordial no design das plataformas e das ferramentas. As equipas de desenvolvimento das aplicações, maioritariamente constituídas por programadores, foram substituídas por equipas multidisciplinares. Exploram-se novas abordagens como o “Design Thinking”, sublinhando a importância de se compreender o contexto de utilização das plataformas.
Vivemos agora numa era onde todos os equipamentos são inteligentes, uma era onde a inteligência artificial é utilizada para criações artísticas. Agora, são as pessoas que anseiam pela novidade e que em cada nova versão surge uma oportunidade para ser explorada. É neste ritmo avassalador que se torna determinante, para todos aqueles que produzem conteúdos multimédia, acompanhar todos as novidades tecnologias. Só assim, é possível não ser ultrapassado e não ficar obsoleto, ou simplesmente ver que ferramentas que utilizamos foram descontinuadas ou se tornaram incompatíveis com o novo computador.
LP – Em tempos trabalhou numa das séries mais inovadoras da televisão portuguesa foi o Major Alvega. O que significou fazer parte da equipa e porque é que não houve continuidade em trabalhos similares depois do grande investimento feito a nível tecnológico?
LG – Foi um enorme privilégio fazer parte da equipa de produção do Major Alvega e poder viajar no futuro. Esta foi uma experiência extremamente enriquecedora e gratificante, uma escola intensiva e um laboratório criativo. Esta emblemática série de televisão, considerada uma das mais inovadoras produções televisivas, foi reconhecida com a nomeação para um prémio Emmy na categoria de melhor série estrangeira em 1998, tendo sido vendida para vários países do Canadá ao Japão, com a designação de Ace London.
Major Alvega foi uma série de ficção produzida pela Miragem, que combinava imagem real com animação digital com uma forte inspiração na estética BD. Toda a série foi filmada em fundo verde (green screen) explorando a técnica de chromakey para substituir o fundo por ilustrações e animações digitais 2D e 3D. Optou-se pelo fundo verde em detrimento do azul, pois a série apresentava muitas cenas noturnas onde predominava a luz azul. Pioneira neste formato em televisão, esta série era protagonizada por Major Alvega e pelo seu eterno rival Coronel Von Block, papeis interpretados por Ricardo Carriço e António Cordeiro.
Este foi um enorme desafio para os atores que tinham de viajar no tempo e no espaço imaginando o ambiente onde supostamente estariam. Podiam estar dependurados na estrutura de um Zepelim, a deslizar dentro de um vagão de carvão descontrolado numa mina, agarrados a uma máquina submarina dentro de água, ou a pilotar um caça Spitfire. Sempre que os atores interagiam com objetos ou cenários reais, era necessário construir em estúdio, estruturas de suporte à ação. Estruturas pintadas de verde e removidas em pós-produção para serem substituídas por desenhos. Estas estruturas também contribuíam para tornar a ação mais credível. Imaginem o Major Alvega a conduzir um automóvel, para esta ação seria necessário a construção de um volante com suporte físico, para que as suas mãos não flutuassem no espaço e para que o seu movimento fosse o mais realista possível. Em pós-produção era introduzido um volante em 3D que acompanhava o movimento real. O mesmo acontecia com as portas, com as janelas, e muitos outros adereços e componentes cenográficos.
Todas estas componentes tinham de ser pensadas até ao mais pequeno detalhe. Esta produção apresentou enormes desafios em todas as áreas. A sonoplastia teve de ser criada de raiz, recriando por exemplo o som de passos em cascalho ou em areia, através do processo conhecido por foley. Por outro lado, o desenho de luz assumia nesta produção um papel extremamente relevante, pois era através da luz que se produzia o ambiente da cena sobre os atores, podendo simular uma cena diurna na praia, ou uma cena noturna no topo da estátua da liberdade em Nova Iorque. Um aspeto muito importante a considerar durante o desenho de luz eram as sombras, não só pelo desafio em separar do fundo verde, mas também por serem estas que definiam claramente a orientação da luz e que deveria ser respeitada em pós-produção. As sombras ajudavam a fundir os atores com os cenários virtuais, mas também apresentavam problemas de raccord.
Talvez o aspeto mais inovador e complexo de realizar nesta produção, foi criar e combinar todo um universo desenhado e animado onde habitavam as personagens procurando fundir da forma mais credível a dimensão real com a dimensão virtual. Processo de alguma forma semelhante ao que foi utilizado no filme Quem Tramou Roger Rabit, mas mais intensivo e com recurso a 3D. Para responder a este critério e exigência, foram necessárias ferramentas especiais em particular no hardware, com toda a linha de estações gráficas da Sillicon Graphics. Poder trabalhar com a “fórmula um” das estações gráficas, foi um privilégio inesquecível. A aquisição destes equipamentos foi um investimento colossal, equipamentos apenas acessíveis aos grandes estúdios de Hollywood.
A Miragem podia orgulhar-se de possuir toda a linha azulada da Sillicon Graphics, desde a estação Indy à Octane passando pela emblemática O2. Para além do hardware foi necessário um forte investimento em software para estas estações gráficas, nomeadamente ferramentas de imagem e animação digital, como o Media Illusion, Media Composer e o Matador da Avid, ou o Power Animator e o Maya da Alias Wavefront. Todo este arsenal suportava a produção de animação 2D e 3D, a pós-produção de imagem e a criação de efeitos especiais. No entanto, para a componente de ilustração digital e criação de ambientes visuais em 2D, foram utilizadas mesas digitalizadoras que capturavam o traço da caneta digital diretamente para o Adobe Photoshop. Os ilustradores partiam de referências de imagem real para criarem os cenários, definindo os espaços através de um contorno preenchido com cor plana. Os ilustradores para além de procurarem recriar um determinado espaço definido em storyboard, tinham de ter em atenção à perspetiva da imagem real, à deformação da objetiva e ao enquadramento. Por outro lado, tínhamos uma equipa de pós-produção de imagem, da qual fazia parte, que procurava recriar o ambiente para cada cena a partir destes desenhos. O seu objetivo era transformar as imagens gráficas bidimensionais, em ambientes iluminados com profundidade, em imagens tridimensionais realistas que integravam os atores em espaços imaginários, mas credíveis. Esse objetivo era alcançado através da criação de texturas, da recriação do tipo de material de cada superfície, da simulação da volumetria de um espaço tridimensional e da iluminação do ambiente. Todos estes processos produzidos em Photoshop procuravam simular o efeito produzido por ferramentas de simulação 3D. Desta forma, era simulado o comportamento físico da luz em cada superfície. Partia-se da referência da iluminação sobre os atores para a criação de um ambiente global consistente, procurando recriar os efeitos de reflexão e de refração, calculando e projetando as sombras que contribuam para a profundidade da cena, explorando os cortes de luz que acrescentavam dinâmica à imagem.
Ao longo da sua existência, a Miragem sempre demonstrou um espírito inovador, capaz de surpreender arriscando novos formatos, cruzando novas tecnologias, procurando novas abordagens. Antes mesmo de fechar portas, existiam planos para a produção de um Major Alvega no espaço, pensado para cinema, um filme futurista e ainda mais ambicioso que a série. A Miragem reunia todas as condições e recursos para esta nova produção, mas, entretanto, dissolveu-se. Fica no nosso imaginário o que poderia ter sido esta nova ficção. Ao contrário da maioria das produtoras em Portugal, a Miragem arriscava não só na tecnologia, mas também na procura e desenvolvimento de novos formatos e conteúdos. Essa atitude teve resultados muito positivos, nomeadamente na exportação de séries e formatos de televisão para vários países como o MixMax. Entretanto, Portugal passou a comprar e adaptar formatos televisivos deixando aos poucos de criar as suas séries originais, com a exceção das telenovelas e de algumas mini séries. Os formatos comprados para além de serem mais fáceis de produzir apresentavam já garantias de popularidade em outros países. Por outro lado, julgo que se foi desinvestindo na produção nacional e, de certa forma, desacreditando na capacidade de produzir conteúdos diferenciadores e de qualidade.
LP – De que forma as tecnologias multimédia nos podem ajudar a imaginar e a dar forma aos vários futuros que temos pela frente?
LG – Todos nós já imaginamos um certo futuro e tal como diz Allan Kay [#Canon:1982tu] “The best way to predict the future is to invent it”. A evolução que temos assistido nas últimas décadas demonstra que o futuro parte da nossa imaginação. Os computadores foram desenhados por engenheiros eletrotécnicos para serem utilizados por outros engenheiros ou especialistas em computação que compreendiam a lógica interna das máquinas. Não existiam interfaces do utilizador, mas sim, interfaces do computador e eram os próprios engenheiros que manipulavam directamente o hardware, através de programação de baixo nível recorrendo a fios e botões, sem qualquer feedback em tempo real. O paradigma havia de sofrer alterações dramáticas em 1963 quando Ivan Sutherland desenvolveu o Sketchpad [#Sutherland:1963tw] trazendo a metáfora da manipulação directa para a interação. A utilização de um dispositivo do tipo apontador com uma interface gráfica reduziu a distância de “conversação” entre os humanos e os computadores, apontando o futuro do desenho de interação. Os grandes impulsionadores do desenho de interação e do desenvolvimento das interfaces gráficas foram os investigadores da Xerox PARC (Palo Alto Research Center). Este laboratório de investigação foi responsável pela conceptualização do computador pessoal [#Johnson:1989id].
Desde então muita coisa mudou, tanto na forma como produzimos os conteúdos digitais, como na forma como estes são processados e apresentados, bem como na forma como interagimos. Passamos de uma interface baseada em linha de comandos em que o utilizador tinha de conhecer a sintaxe do computador, para uma interface natural, onde é o computador que procura identificar o comportamento do utilizador através de reconhecimento de voz, de gestos, ou de expressões. Passamos de um computador de secretária, sem cor e sem som, para dispositivos multisensoriais, transportáveis e integrados em rede. Passamos da execução de uma tarefa de cada vez dirigida pelo utilizador, para múltiplas tarefas em simultâneo, para um paradigma de processamento distribuído, para uma filosofia de inteligência artificial, escalável e flexível, onde o computador vai aprendendo com o que se passa à volta tomando decisões de forma autónoma.
Toda esta evolução tem vindo a ser assimilada por artistas digitais, e sempre que uma nova tecnologia é apresentada, rapidamente é explorada através de abordagens inovadoras. Por vezes, estas abordagens não têm grande profundidade e servem apenas como montra tecnológica, mas a rápida disseminação destas técnicas e o modo colaborativo existente nas comunidades artísticas Online possibilita criações conjuntas de grande impacto e contribuições importantes. Basta fazer uma pesquisa sobre arte generativa produzida por redes neuronais em qualquer motor de pesquisa, para testemunharmos a existência de um grande número de abordagens.
Apesar de ter sofrido uma grande evolução, a forma como produzimos os conteúdos digitais e os interligamos ainda se apresenta de uma forma muito sequencial e segmentada. A título de exemplo podemos observar a forma como um videojogo é criado pelos diferentes intervenientes. Para a produção gráfica, o artista visual pode explorar ferramentas de imagem 2D ou de modelação 3D com suporte de ferramentas especificas para a produção de texturas ou para a escultura tridimensional. Para a animação, existem várias ferramentas 2D e 3D bem como técnicas que podem ser utilizadas, como por exemplo a captura de movimento. Por outro lado, o músico faz a sua composição em sequenciadores musicais e o sonoplasta em ferramentas de áudio e de espacialização sonora. O programador trabalha com ferramentas de edição de código. Finalmente, todos os conteúdos são ligados e combinados em ferramentas de autoria multimédia, que tipicamente assumem a figura de motores de jogo. Neste motor é implementado o desenho de interação e todos os ajustes de câmara, luz e dinâmicas de jogo. Portanto, toda a equipa trabalhou em diferentes ferramentas, em momentos distintos e sem saber como os elementos se vão integrar. Esta segmentação do trabalho resulta numa falta de consistência e de ligação entre os vários elementos.
Felizmente, este paradigma está a mudar com plataformas de criação como o Dreams, uma plataforma de criação de experiências interativas desenvolvido pela Media Molecule e publicado pela Sony Interactive Entertainment em 2020, mas apenas para a PlayStation. Com esta plataforma é possível criar videojogos, filmes, composições musicais, performances, experiências interativas e muito mais. A grande diferença entre esta plataforma e as restantes, é o facto de combinar todas as atividades criativas e lógicas em um único ambiente 3D através de um paradigma performativo. Esta plataforma reúne um número assinalável de valências apresentando as seguintes funcionalidades: a escultura, a modelação, a pintura digital, a animação e criação de efeitos especiais, a programação, a composição e performance musical, a filmagem e direção de fotografia, o desenho de luz, entre outras. Podemos articular todos os elementos criados pelo autor ou integrar elementos criados pela comunidade que são partilhados na nuvem. Como a forma de manipulação e navegação é semelhante à de um jogo, torna-se bastante intuitiva. Por outro lado, existiu a preocupação em produzir tutoriais e vídeos explicativos de todas as técnicas disponíveis em diferentes línguas e implementados no próprio motor. Assim, qualquer um pode iniciar a sua jornada de aprendizagem com o seu próprio ritmo. Em qualquer momento, podemos editar os elementos até à sua molécula inicial pois o sistema é não destrutivo. A grande inovação da plataforma é o desenho de interação. Podemos interagir com o controlador DualShock recorrendo ao acelerómetro ou a dois comandos PS Move, um em cada mão, através do rastreamento de posição e orientação registado a partir de uma camara colocada por cima do televisor. Este segundo método de interação permite uma manipulação direta de todos os componentes. Desta forma conseguimos esculpir um objecto da mesma forma como na vida real, com a mão esquerda agarramos o objecto e com a outra mão vamos modelando a nosso belo prazer. A forma como nos deslocamos no espaço tridimensional é extremamente natural, basta rodar a mão esquerda para orientar a camara e puxar na direção do corpo com a mão direita para nos deslocarmos para a frente, é como se lançássemos uma corda com um gancho na direção para onde queremos ir e depois é só puxar. Toda a programação é feita directamente no ambiente de criação através de programação visual. Podemos colar os blocos de programação aos objectos e cada bloco poderá conter vários sub-blocos dentro da sua caixa. Cada bloco tem funcionalidades especificas com ligações de entrada e de saída para outros blocos representando a lógico do programa. Os blocos são ligados por fios que representam os fluxos de dados. Existem sensores, actuadores e eventos. Podemos por exemplo colocar um actuador à entrada de um precipício que faz disparar uma animação de uma ponte para que o jogador possa atravessar. O Dreams apresenta uma forma divertida e inovadora de compor música. Podemos criar o nosso instrumento virtual definindo zonas interativas com efeitos sonoros. Os instrumentos são tocados literalmente com as mãos, através do nosso movimento pressionando as teclas dos controladores. O movimento das mãos altera o posicionamento da nota no espaço. Podemos editar as notas musicais em partitura ou através de uma linha cronológica visual em profundidade.
O Dreams apresenta um novo paradigma de interação e criação digital facilitando o processo criativo. Estas criações podem ser aplicadas em diferentes contextos e podem servir para criar protótipos rápidos e simular ambientes performativos. Em meados de 2020 foi lançada uma atualização que possibilita a criação de ambientes em realidade virtual. Este é seguramente o ambiente mais acessível, rápido e divertido de criação em ambiente de realidade virtual. Esta plataforma, apresenta uma galeria virtual onde podemos assistir e experimentar as criações de toda a comunidade. Alias, todos os elementos criados na plataforma podem ser partilhados. Com o Dreams os sonhos tornam-se uma realidade, com o Dreams a imaginação não tem limites.
LP – Quer dizer que com temos condições para imaginarmos o (in)imaginável em todas as dimensões da nossa vida quotidiana, seja nas formas de construir as cidades e tudo o que elas implicam, as casas que habitamos, os espaços de convívio, etc.
LG – As ferramentas por si só não operam revoluções e não transformam sonhos em realidade, mas podem ajudar. A ideia subjacente por detrás do Dreams é precisamente o conceito de que qualquer um pode criar. Qualquer pessoa tem o potencial criativo dentro de si e quando motivada e com a ferramenta certa, poderá se transformar num artista, ou num artesão. A Media Molecule, criadora do Dreams, procura revolucionar a produção de conteúdos digitais abrindo-a à comunidade, explorando as produções independentes. O Dreams não é um jogo nem uma plataforma para fazer jogos, mas sim um verdadeiro ecossistema colaborativo de criação e partilha de experiências digitais. Ao contrário da grande maioria de plataformas de criação de jogos, que procura responder de imediato ao potencial tecnológico do presente, orientada para uma comunidade de criadores e programadores com alguma experiência, o Dreams desenhou um plano a longo prazo, orientado para o futuro e para toda a comunidade, explorando todo um potencial adormecido. É neste sentido que desenvolveram uma nova abordagem de interação e um vocabulário próprio de manipulação. Este novo paradigma de interação não depende do teclado e do rato e apesar de ter sido inicialmente desenhado para o controlador da Playstation, foi adaptado para uma interação natural, ou seja, baseando-se no movimento das mãos, combinando a visão por computador com o movimento por inércia dos controladores Move da Playstation. Desta forma, qualquer um pode sentar-se no sofá, olhar para a sua televisão e criar os seus mundos com as suas próprias mãos, através de uma manipulação direta, ou simplesmente disfrutar da criação dos outros. A ideia da interação direta com as mãos para a modelação ou pintura digital, não é original do Dreams e podemos encontrar o mesmo paradigma em ferramentas de realidade virtual, como no Quill, ou como no Tilt Brush. No entanto, O Dreams para além de permitir a modelação e a pintura digital através deste paradigma de interação, também possibilita a composição e interpretação musical, a animação e a programação. Assim, uma vez familiarizado com o vocabulário de interação, o criador ou sonhador, poderá manipular todos os tipos de conteúdos da mesma forma, com as suas próprias mãos. Mas este paradigma de interação, apesar de natural requer alguma destreza e como tudo na vida, para dominar o vocabulário de manipulação é necessário estudo e prática. Apesar de um piano apresentar uma interface intuitiva, é fundamental ter alguns conhecimentos de música e alguma prática para obter resultados positivos. Neste sentido, a Media Molecule teve a preocupação em disponibilizar uma grande extensão de tutoriais interativos para todas as componentes disponibilizados dentro da própria plataforma. Estes tutoriais foram desenhados para se apresentarem como autênticas experiências de jogo e de criação. Existiu um cuidado por parte do estúdio, em contratar atores de voz que pudessem dar o máximo de expressão à narrativa dos tutoriais. Os tutoriais são falados em várias linguagens, nomeadamente em português. Os primeiros passos de um sonhador neste ecossistema, são os de explorar estas aventuras. Esta foi a forma que a Media Molecule encontrou de facilitar a entrada em Dreams e de capacitar os sonhadores de ferramentas de criação. Um ambiente acessível a todo o tipo de sonhadores.
Em Dreams podemos esculpir um busto de uma personalidade ou desenhar e pintar um rosto abstrato, podemos animar uma personagem histórica com um esqueleto completo, podemos compor uma música épica através de uma partitura sequenciando notas musicais ou combinando sons, podemos tocar um instrumento virtual com gestos aplicando efeitos em tempo real, podemos cantar e gravar sons, podemos realizar um filme de ficção dispondo as câmaras no espaço para diferentes enquadramentos, podemos explorar a carga dramática de uma cena de terror criando luzes com diferentes tipologias, podemos acrescentar e configurar um ambiente noturno de uma floresta e acrescentar efeitos visuais como o fogo de uma fogueira prestes a apagar pela chuva torrencial, chuva que cai sobre o rio agitado e que provoca um nevoeiro denso. Finalmente, podemos atribuir comportamentos à nossa cena, ao tocarmos na lâmpada do candeeiro da sala, a luz acende despertando o som de uma caixa de música. O Dreams possibilita a criação de diferentes tipos de sonhos, podemos criar um filme de animação ou uma peça de teatro virtual, apresentar um concerto de música ou uma performance, recriar uma cidade conhecida numa determinada época histórica, desenvolver um videojogo de plataformas, criar um simulador de voo, esculpir uma criatura para impressão em 3D, realizar uma exposição de pinturas digitais, ou produzir uma maquete para a produção de um filme de imagem real simulando a luz, os adereços e as personagens. Em Dreams, tudo é possível. Depois de nos familiarizarmos com a ferramenta, todo o processo criativo se torna natural, fluido e mágico. Em Dreams podemos criar tudo de raiz, ou podemos combinar objetos, músicas, animações desenvolvidas e partilhadas por outros sonhadores. Esta capacidade de combinar criações de sonhadores pode ser compreendida como um ecossistema criativo, um ambiente colaborativo expandido e diversificado.
Com a introdução da realidade virtual, esta plataforma passou a ser mais imersiva a todos os níveis, apresentando também novos desafios a nível do desenho da interação, problemas comuns no desenvolvimento deste tipo de soluções em realidade virtual. Por exemplo, é necessário ter em atenção à deslocação no espaço virtual para não causar náuseas no jogador, resultante da disparidade entre o nosso corpo e a nossa perceção. Ou seja, no mundo tangível estamos parados, mas no mundo virtual estamos em movimento. Neste momento é possível viajar pelo mundo imaginário de outros sonhadores com ou sem óculos de realidade virtual. No futuro, vamos poder conviver com outros jogadores no mesmo espaço, isto irá abrir novas perspetivas de interação e comunicação. A nossa persona irá poder comunicar com outros avatares e em conjunto abrir novos caminhos, criar mundos imaginários e inventar o futuro. Não deixem esvanecer os vossos sonhos, experimentem o Dreams e juntos podemos sonhar acordados.