Entenda como o contínuo trabalho de pesquisa da Neurotech tem acompanhado os avanços da Inteligência Artificial e otimizado o seu uso em empresas.
A Neurotech surgiu dentro da Universidade Federal de Pernambuco e sempre monitorou de perto os avanços da Inteligência Artificial (IA). Em especial, nos últimos anos, as áreas de processamento de linguagem natural e computação visual ganharam atenção especial.
Assim como as redes neurais profundas possibilitaram a criação de novos produtos com foco em imagem no passado, o lançamento do ChatGPT, no final de 2022, e a popularização de LLMs (Large Language Models) resultaram em uma quebra de paradigma para a descoberta de novos produtos nos mercados em que a Neurotech atua.
Um ano depois, essas foram as nossas descobertas:
- O GPT4 é excelente para prototipação, mas o custo pode ser proibitivo em escala produtiva.
Produtos de dados possuem uma estrutura de custo transacional. Uma parte usual do custo de infraestrutura é a nuvem, mas agora existe uma fatia substancial do custo que se dá pela API dos fornecedores de modelos fundacionais de LLM, como a OpenAI.
Felizmente, alguns provedores open source (como a Meta, que lançou o Llamma 2.0 recentemente) criam incentivo para redução de custos no longo prazo.
Nossa experiência mostrou que o GPT4 é um bom aliado na prototipação de produtos, mas deve-se testar o desempenho de alternativas open source, caso o custo se torne um problema em grande escala.
Por exemplo, na Neurotech, depois de prototipar com o GPT4, executamos um teste comparativo de desempenho com outros modelos fundacionais para decidir a melhor opção em produção. Existem cenários nos quais o desempenho é crítico e a margem do produto permite o uso do GPT4. Em outros, como aplicações internas que não possuem receita associada, a opção open source é mais prudente.
- A maioria das empresas não deve competir com modelos fundacionais. O foco deve ser na camada de aplicação.
As grandes empresas de tecnologia (big techs) estão saturadas de recursos e infraestrutura de GPUs para garantir as próximas iterações dos modelos fundacionais. Fora das big techs, uma oportunidade parece existir na camada da aplicação (application layer).
Em outras palavras, como usar modelos de LLM existentes para resolver a dor de clientes em um mercado específico que você domina? Estamos na fase de consolidação destas aplicações.
Por exemplo, na Neurotech, criamos o Bruce, uma solução que usa LLMs para extrair conhecimento e auxiliar na tomada de decisão dos processos de aviso de sinistro em seguros de automóvel. Usando a solução, conseguimos melhorar o desempenho da segmentação de risco de fraude nas seguradoras.
- Engenharia de prompt (prompt engineering) é uma habilidade muito útil para pessoas em equipe de produtos.
Em algum momento no início do hype, acreditou-se que uma pessoa engenheira de prompt seria um recurso crítico para aplicações de LLMs. Hoje, acreditamos que esta é uma habilidade que precisa ser disseminada nas equipes de produtos (engenheiras, designers e gerência de produto).
Claro que os profissionais não precisam ter o mesmo nível de especialização neste assunto. Da mesma maneira como todos sabem um pouco de Excel para tornar a vida mais fácil, o mesmo deveria ser verdade para engenharia de prompt. Além disso, assim como alguns dominam recursos mais avançados de Excel, é necessário que a engenharia de prompt tenha algum nível de profundidade na equipe.
Por exemplo, existem aplicações de LLMs na Neurotech que só foram possíveis após uma cuidadosa aplicação de cadeias de pensamento (chain of thought), algo que poderia ter passado despercebido em uma primeira tentativa.
- Alucinações são um problema, mas você pode evitá-las.
Sabemos que os modelos de LLM possuem uma característica peculiar de inventar informações que podem ser falsas, fenômeno que recebeu o apelido de alucinação.
Da maneira como foram construídas, as alucinações são um feature e não um bug: faz parte da característica probabilística do algoritmo.
Percebemos que muitos problemas de alucinações podem ser tratados via prompt, limitando os outputs das LLMs ou garantindo que ela quebre as tarefas em partes curtas que possam ser validadas. A alternativa de deixar a LLM livre e realizando tarefas longas sem supervisão pode resultar em alucinações.
- LLM apenas não é um diferencial competitivo duradouro.
Aplicações que usam LLMs podem ser copiadas no futuro com a disseminação de prompt engineering. Para produtos de dados, a vantagem competitiva duradoura (chamada de moat, no mundo dos investimentos) das aplicações de LLMs é o dado bruto.
Além disso, se você possuir dados textuais não estruturados (como relatórios, comentários, avaliações, etc), pode estar sentado em uma mina de ouro para a camada de aplicações de LLMs.
Em resumo, temos visto na Neurotech o uso disruptivo dos modelos LLM para:
- Tratar textos não estruturados, como o caso do Bruce, para o mercado de seguros. Estes modelos ajudam a fornecer maior contexto e extrair características importantes para os modelos tradicionais.
- Montar visão de dados. A engenharia de dados já vem se beneficiando na Neurotech dos modelos de LLM. O trabalho que antes era automatizado baseado no conhecimento do engenheiro de dados, com os novos modelos de LLM, ganha maior escala contextual, melhorando o desempenho dos classificadores.
- Extrair padrões em um volume muito grande de dados é fundamental, principalmente quando há um diversas transações. Se o histórico de compras no cartão de crédito engloba poucas transações por ano/mês, melhor continuar nos modelos tradicionais, ou seja, não faz sentido utilizar LLM. No entanto, se o volume de transações é muito grande, como nos cartões bandeirados, os modelos de LLM dão um contexto espetacular na escuta ativa do cliente.
- Retornar recomendações contextuais nos canais de cobrança e venda faz toda diferença. Ou seja, utilizar modelos de LLM para contextualizar a comunicação com o cliente.
Claro que estamos só no início de uma revolução, no entanto a Neurotech está antenada para estar à frente do mercado quando falamos de dados e IA. O que acha de deixar a sua empresa em uma posição elevada em relação aos concorrentes, no quesito transformação digital? Entre em contato conosco, nós podemos ajudar.
