English

CIn - Centro de Informática UFPE




Eventos Relacionados

Defesa de Tese de Doutorado Nº 338: "A Design Method for Building in-air Gestural Interactions"

O aluno Lucas Silva Figueiredo vai apresentar seu trabalho no dia 23 de fevereiro, às 8h, no Auditório Início: 23/02/2017 às 08:00 Término: 23/02/2017 às 00:00 Local: Auditório do CIn

Pós-Graduação em Ciência da Computação – UFPE
Defesa de Tese de Doutorado Nº 338

Aluno: Lucas Silva Figueiredo
Orientador: Profa. Veronica Teichrieb
Título: A Design Method for Building in-air Gestural Interactions
Data: 23/02/2017
Hora/Local: 8h – Centro de Informática - Auditório 4º andar – Bloco E
Banca Examinadora:

Prof. Andre Luis de Medeiros Santos (UFPE / Centro de Informática)
Prof. Geber Lisboa Ramalho (UFPE / Centro de Informática)
Prof. Claudio Santos Pinhanez (IBM / IBM Research Brazil (SP))
Prof. Thales Miranda de Almeida Vieira  (UFAL / Instituto de Matemática)
Prof. Pedro Martins Alessio  (UFPE / Departamento de Design)

Abstract

In-air gestures are part of humans everyday communications. Giving a 'thumbs up', pointing to an object of interest or raising a hand to call for attention are just a few examples. Current vision-based technologies such as the Microsoft Kinect, the Leap Motion have shown real-time tracking capabilities which enable a large range of developers and companies to explore these gestures on human-computer interactions. We approach the process of building these interactions. Our efforts are to understand and aid designers, developers and researchers of the field of Human-Computer Interaction to build in-air gestural interfaces. With that goal in mind, we provide a method, with detailed techniques and tools to explore and prototype concepts of possible gestural interactions for a given target task. The method is divided in two main phases: the conception of the gestures to be used; and the delivering of solutions using these gestures.
For the conception phase we propose the use of a set of creative techniques. In addition, we also introduce a pair of web catalogs (as tools) to be used for analysis and inspiration while suggesting and creating new gestural interactions. By reviewing the literature regarding how researchers define the used gestures, we cataloged several examples according to a developed taxonomy. We also performed a similar review and built a catalog of in-air gestures present on Science-Fiction (Sci-Fi) content. Sci-Fi contents, although not representing real interfaces, present potential while exploring innovative concepts which can influence the creation of new interfaces. For the deliver phase we focused on the steps of producing and testing low-fidelity and high-fidelity prototypes for the recognition of the conceptualized gestures. For low-fidelity prototyping we propose and validate the use of the Wizard of Oz technique, which enables fast testing of different concepts. For high-fidelity prototyping we introduce a recognition tool called Prepose, which aims the easiness of use for creating and editing the gesture recognizers. Prepose allows a gesture to be written in natural language making it easy to developers and non-developers to read, write and edit the target gestures. At the same time, Prepose allows a gesture to be automatically written with one sample its execution, speeding up the time to build recognizers for complex gestures. At last, we also conducted a case study to demonstrate the use of the method and each of its tools and techniques.

Keywords: Gestural input; Systems and tools for interaction design; Design fiction; Interface design prototyping; Domain specific languages.

Resumo

O uso de gestos ao ar (in-air gestures) é parte do cotidiano da comunicação entre seres humanos. Levantar o polegar para expressar concordância, apontar para um objeto de interesse ou levantar a mão para atrair a atenção são somente alguns exemplos. Tecnologias atuais baseadas em visão computacional como o Microsoft Kinect e o Leap Motion demonstram a capacidade de restrear o usuário em tempo real, habilitando desenvolvedores e empresas a explorar gestos como forma de interação entre seres humanos e máquinas. Neste trabalho nós abordamos o processo de construir tais interações. Nossos esforços são direcionados a entender e facilitar o processo de construção de interfaces gestuais para designers, desenvolvedores e pesquisadores do campo de Interação Humano-Computador. Com este objetivo em mente, nós introduzimos um método, incluindo técnicas e ferramentas, para explorar e prototipar conceitos de possíveis interações gestuais para determinada tarefa. O método é dividido em duas fases principais: a concepção dos gestos a serem utilizados; e a construção de soluções usando estes gestos.

Para a fase de concepção nós propomos o uso de um conjunto de técnicas criativas. Em adição, nós introduzimos dois catálogos web para serem usados para análise e inspiração durante a criação de novas interações gestuais. Ao revisar a literatura relativa ao uso de gestos por pesquisadores, nós catalogamos diversos exemplos do uso de gestos. Realizamos uma revisão similar (também apresentada em um catálogo web) do uso de gestos em conteúdos de Ficção Científica. Estes conteúdos, apesar de não representarem interfaces reais, apresental potencial ao explorar conceitos inovadores que podem influenciar a criação de novas interfaces. Para a fase de construção da solução nós focamos nas etapas relativas à produção e testes de protótipos de baixa e alta fidelidade. Para os protótipos de baixa fidelidade nós propomos o uso da técnica do Mágico de Oz, a qual permite testar rapidamente diversos conceitos. Para a prototipação de alta fidelidade nós apresentamos uma ferramenta para reconhecimento de gestos chamada Prepose. Prepose permite que cada gesto seja escrito em linguagem natural (usando o Inglês como idioma) tornando assim a atividade de construir e editar reconhecedores de gesto acessível para desenvolvedores e não-desenvolvedores. Ao mesmo tempo, Prepose permite que um gesto seja transcrito automaticamente através de um treinamento que requer uma única execução, acelerando o processo de construir reconhecedores de gestos complexos. Por fim, nós conduzimos um estudo de caso para demonstrar o uso do método e cada uma das técnicas e ferramentas propostas.

Palavras chave

Entrada gestual; Sistemas e ferramentas para design de interação; Design de ficção; Prototipação de interfaces; Linguagens específicas de domínio.
  • © Centro de Informática UFPE - Todos os direitos reservados
    Tel +55 81 2126.8430 - Cidade Universitária - 50740-560 - Recife/PE
Plano4 Consultoria Web