How Does A Computer Know Where You're Looking?

Imagine dirigir um carro, usando uma projeção de exibição no pára-brisa para navegar por uma cidade desconhecida. Isso é realidade aumentada (AR); a informação é usada não só para guiá-lo ao longo de uma rota, mas também para alertá-lo sobre informações importantes em seu entorno, como ciclistas ou pedestres. O posicionamento correto do conteúdo virtual não é apenas crucial, mas talvez uma questão de vida ou morte.

As informações não podem obscurecer outros materiais e devem ser exibidas por tempo suficiente para que você as entenda, mas não muito mais do que isso. Os sistemas de computador têm que fazer essas determinações em tempo real, sem fazer com que nenhuma das informações seja perturbadora ou intrusiva. Nós certamente não queremos um aviso sobre um ciclista prestes a cruzar na frente do carro para obscurecer o próprio ciclista!

Como pesquisador em AR, passo muito tempo tentando descobrir como obter as informações certas na tela de um usuário, no lugar certo, no momento certo. Eu aprendi que mostrar muita informação pode confundir o usuário, mas não mostrar o suficiente pode inutilizar uma aplicação. Temos que encontrar o ponto ideal entre os dois.

Um elemento crucial disso é saber onde os usuários estão procurando. Só então podemos entregar as informações que eles desejam em um local onde possam processá-las. Nossa pesquisa envolve medir onde o usuário está olhando na cena real, como uma maneira de ajudar a decidir onde colocar o conteúdo virtual. Com AR pronta para se infiltrar em muitas áreas de nossas vidas - de condução para trabalha para recreação - precisaremos resolver esse problema antes que possamos confiar em AR para fornecer suporte a ações sérias ou críticas.

Determinando onde colocar informações

Faz sentido ter informações aparecem onde o usuário está procurando. Ao navegar, um usuário pode olhar para um edifício, rua ou outro objeto real para revelar as informações virtuais associadas; o sistema saberia esconder todos os outros monitores para evitar confundir a cena visível.


innerself subscribe graphic


Mas como sabemos o que alguém está olhando? Acontece que as nuances da visão humana nos permitem examinar aos olhos de uma pessoa e calcular onde eles estão procurando. Ao combinar esses dados com câmeras que mostram o campo de visão de uma pessoa, podemos determinar o que a pessoa está vendo e o que ela está olhando.

Sistemas de rastreamento ocular surgiram pela primeira vez nos 1900s. Originalmente eles eram usados ​​principalmente para estudar padrões de leitura; alguns podem ser muito intrusivos para o leitor. Mais recentemente, o rastreamento ocular em tempo real emergiu e se tornou mais acessível, mais fácil de operar e menor.

Rastreadores oculares podem ser anexados ao tela ou integrado em óculos wearable ou monitores instalados na cabeça. Os olhos são rastreados usando uma combinação do câmeras, projeções e algoritmos de visão computacional para calcular a posição do olho e o ponto de olhar em um monitor.

Geralmente, observamos duas medidas ao examinar dados de rastreamento ocular. O primeiro é chamado de fixaçãoe é usado para descrever quando paramos nosso olhar, muitas vezes em um local interessante em uma cena, porque chamou nossa atenção. O segundo é um sacada, um dos movimentos oculares rápidos usados ​​para posicionar o olhar. Curtos períodos de fixação são seguidos por movimentos rápidos, chamados sacadas. Basicamente, nossos olhos rapidamente se movem de um lugar para outro, recebendo informações sobre partes de uma cena. Nossos cérebros então juntam as informações dessas fixações para formar uma imagem visual em nossas mentes.

{youtube}tdFIvRMvFQI{/youtube}

Combinando rastreamento ocular com AR

Muitas vezes, o conteúdo AR está ancorado a um objeto ou local do mundo real. Por exemplo, um rótulo virtual contendo um nome de rua deve ser exibido nessa rua. Idealmente, gostaríamos que os rótulos AR aparecessem perto do objeto real ao qual estão associados. Mas também precisamos ter cuidado para não permitir que vários rótulos AR se sobreponham e se tornem ilegíveis. Existem muitas abordagens para gerenciar o posicionamento de rótulos. Estamos explorando uma opção: calcular onde a pessoa está olhando na cena real e exibir rótulos AR apenas nesse ponto.

Digamos, por exemplo, que um usuário esteja interagindo com um aplicativo para dispositivos móveis que o ajude a comprar cereais com baixo teor calórico na mercearia. Na aplicação AR, cada cereal tem informações de calorias associadas a ele. Em vez de pegar fisicamente cada caixa de cereal e ler o conteúdo nutricional, o usuário pode segurar seu dispositivo móvel e apontá-lo para uma determinada caixa de cereal para revelar as informações relevantes.

Mas pense no quão lotado é o corredor de cereais de uma loja com vários pacotes. Sem alguma maneira de gerenciar a exibição de rótulos AR, os rótulos de informação de calorias para todas as caixas de cereais seriam exibidos. Seria impossível identificar o conteúdo calórico do cereal em que ele está interessado.

Ao rastrear seus olhos, podemos determinar qual caixa de cereal individual o usuário está olhando. Em seguida, exibimos as informações de calorias para esse cereal em particular. Quando ele desloca o olhar para outra caixa, exibimos os números para o próximo que ele considera. Sua tela é organizada, a informação que ele quer está prontamente disponível e quando ele precisa de informações adicionais, podemos mostrar isso.

Este tipo de desenvolvimento faz com que seja um momento emocionante para a pesquisa de AR. Nossa capacidade de integrar cenas do mundo real com gráficos de computador em monitores móveis está melhorando. Isso alimenta a perspectiva de criar novas aplicações impressionantes que expandem nossa capacidade de interagir, aprender e se divertir com o mundo ao nosso redor.

Sobre o autor

Ann McNamara, Professora Associada de Visualização, Universidade Texas A & M

Este artigo foi originalmente publicado em A Conversação. Leia o artigo original.

Livros relacionados

at