English

CIn - Centro de Informática UFPE




Eventos Relacionados

Defesa de Dissertação de Mestrado Nº1.714: "Enhancing Deep Learning Performance using Displaced Rectifier Linear Unit"

O aluno David Lopes de Macêdo irá defender sua pesquisa no dia 31 de julho, às 8h, no Auditório Início: 31/07/2017 às 08:00 Término: 31/07/2017 às 00:00 Local: Auditório do CIn

Pós-Graduação em Ciência da Computação – UFPE
Defesa de Dissertação de Mestrado Nº  1.714


Aluno: David Lopes de Macêdo
Orientadora: Profa. Teresa Bernarda Ludermir
Co-orientador: Prof. Cleber Zanchettin
Título: Enhancing Deep Learning Performance using Displaced Rectifier Linear Unit
Data: 31/07/2017
Hora/Local: 8h – Centro de Informática - Auditório
Banca Examinadora:
Prof. Adriano Lorena Inacio de Oliveira (UFPE / Centro de Informática)
Prof. Byron Leite Dantas Bezerra (UPE / Escola Politécnica de Pernambuco)
Prof. Cleber Zanchettin  (UFPE / Centro de Informática)

RESUMO:
Recentemente, a aprendizagem profunda tem causado um impacto significante em visão computacional, reconhecimento de voz e compreensão de linguagem natural. Ademais, novas aplicações em medicina, negócios, financias e agricultura foram criadas ou melhoradas. Apesar de avanços significativos, recentemente os ganhos em desempenho tem sido modestos e usualmente dependem do incremento da profundidade dos modelos, o que normalmente
requer mais recursos computacionais como tempo de processamento e uso de memória. Para abordar este problema, nós voltamos nossa atenção para o interfuncionamento entre as funções de ativações e a normalização em batch, o qual é praticamente obrigatório atualmente. Neste trabalho, nós propomos a função de ativação Displaced Rectifier Linear Unit (DReLU) a partir da conjectura que estender a função identidade da ReLU para o terceiro quadrante aprimora a compatibilidade com a normalização em batch. Ademais, nós usamos testes estatísticos para comparar o impacto de usar funções de ativação distintas (ReLU, LReLU, PReLU, ELU, and DReLU) na performance da velocidade de treinamento e na acurácia dos testes de modelos estado da arte VGG e Redes Residuais. Estas redes neurais convolucionais foram treinadas no CIFAR-10 e CIFAR-100, as mais comumente utilizadas base de dados utilizadas em visão computacional para aprendizagem profunda. Os resultados mostraram que DReLU aumentou a velocidade de aprendizagem em todos os modelos e bases de dados. Ademais, DReLU melhorou a acurácia dos testes apresentados pela ReLU em todos os cenários. Além disso, DReLU apresentou melhor acurácia de testes que qualquer outra função de ativação testada em todos os cenários com uma exceção, no qual esta apresentou a segunda melhor performance.

Palavras-chave: Aprendizado de Máquina, Redes Neurais Deep Learning
  • © Centro de Informática UFPE - Todos os direitos reservados
    Tel +55 81 2126.8430 - Cidade Universitária - 50740-560 - Recife/PE
Plano4 Consultoria Web