KDD 2019 – uso de Deep Learning cresce exponencialmente

Mais complexidade, mais precisão e aumento da transferência de conhecimento. Esses 3 pontos me marcaram bastante nas apresentações de Deep Learning no KDD 2019 – evento que participei nos EUA recentemente e sobre o qual estou escrevendo 4 artigos. Este é o segundo.

Claro que o uso massivo de Deep Learning com resultados cada vez melhores e surpreendentes não é novidade para ninguém. Que o digam o Google Translator, Google Now, Alexia e Siri, além dos carros autônomos. Essa revolução começou em 2012 na competição do Imaginet e, hoje, a máquina está à frente do ser humano — pelo menos para visão computacional.

A foto que tirei da apresentação do Alibaba (sem muita qualidade, é verdade kkkkk), conforme gráfico abaixo, é a prova de que, graças à Deep Learning, a máquina já tem um nível de precisão maior do que o ser humano em determinadas tarefas, como reconhecimento de imagem. O nível de erro do ser humano é de 5,1% enquanto, desde 2015, a máquina já tem uma taxa de erro menor (3,57%). Por outro lado, o nível de complexidade dos modelos aumentou muito. Eram 8 camadas escondidas em 2012 e, em 2015, o jogo virou para 152 camadas.

Essa revolução está acontecendo embaixo dos nossos olhos e a carreira de cientista de dados está em uma posição super privilegiada. Não seremos passageiros da mudança e sim atores principais da revolução que já vem acontecendo. Lá em casa, por exemplo, a minha filha Luana, de 8 anos, sempre fala com a Google Assistant antes de dormir. Normalmente, pedindo para ela contar uma piada kkkkkkkk.

Transfer Learning

Toda essa evolução de Deep Learning vem junto como uma complexidade como mostrado na foto mas, principalmente, por uma necessidade cada vez maior de uma volume de dados muito grande para treinar esses modelos complexos. No entanto, para determinadas aplicações, o tamanho da base de dados não é tão grande.

É aí que vem a grande sacada da generalização: se é possível aprender em cima de um grande conjunto de dados (carros autônomos), quando se aplica em um caminhão autônomo, o volume de dados para a rede aprender não é tão grande. Assim, entra em cena o Transfer Learning, que aproveita o aprendizado do carro autônomo. Com ele, o treinamento do caminhão autônomo não precisa começar do zero, pois já se inicia a partir do ponto do carro autônomo. Ou seja, há uma transferência de conhecimento.

No mercado brasileiro, um exemplo de uso intenso disso é no treino de modelos genéricos de mercado de concessão de crédito, em que é comum recebermos uma nova base fazendo o nosso transfer learning para a base específica e menor.

Uso de estruturas complexas como entrada dos modelos de Deep Learning

No KDD 2019, também chamou a minha atenção as inúmeras tentativas de expansão de Deep Learning para aceitar estruturas mais complexas de entrada (dados para aprendizagem). Se pensarmos nos dados que são utilizados para aplicar Deep Learning atualmente, temos dois grandes tipos:

1. Dados sequenciais. Exemplo: comportamento do usuário em um site no tempo para detectar fraude, evolução dos preços de produtos no tempo.

2. Dados em grids. Exemplo: dados em imagens, onde se pega um conjunto de pixels para ser entrada dos modelos de deep learning.

Vejam a foto (essa, um pouquinho melhor kkkk) que eu tirei da palestra do Jure Leskovec, diretor de Ciência de Dados do Pinterest.

Ele mostrou em sua palestra que, na plataforma do Pinterest, a estrutura de entrada são redes e não mais dados sequenciais ou em grids.

A proposta dele foi usar estruturas mais complexas como redes (networks) para representar conhecimento em dados de entrada do Deep Learning. Isso faz todo sentido no caso do Pinterest porque uma foto pode ser compartilhada com várias pessoas que por sua vez podem ter marcado vários produtos e assim por diante.

Isso vem abrindo muitas pesquisas nessa área — inclusive, no NeuroLake, estamos bastante animados com esse tipo de representação do conhecimento. Aqui, acreditamos que a união entre dados quantitativos e conhecimento do domínio é a combinação perfeita para melhores decisões.

E você? O que achou?