Como aproveitar as avaliações para maximizar o desenvolvimento de produtos

Os produtos de consumo raramente permanecem estáticos, e evoluem continuamente dependendo das necessidades dos clientes.

Veja o barbeador elétrico. Cerca de um século atrás, entrou no mercado dos EUA um dos primeiros modelos, o Vibro-Shave. Essa navalha, comercializada para homens e mulheres, tinha uma alça vibratória que movia a lâmina de um lado para o outro. E, se quisesse, era possível trocar a parte superior por um dispositivo de massagem para "suavizar" as rugas.

Não é preciso discorrer sobre o quanto os barbeadores mudaram ao longo dos anos.

Portanto, como ocorre normalmente o desenvolvimento de produtos? As empresas confiam há muito tempo em pesquisas de mercado para determinar como os clientes estão usando seus produtos e quais necessidades adicionais podem ser atendidas com a criação de novos recursos ou inovações.

Tradicionalmente, grande parte dessa pesquisa envolve entrevistas ou grupos focais com clientes, que compartilham como usam um produto, o que gostam e o que não gostam. Em seguida, as empresas sintetizam esse feedback para determinar se as necessidades do cliente estão sendo atendidas e depois agem com base nesse conhecimento.

Entretanto, entrevistas e os grupos focais são dispendiosos e demoram para serem concluídas, diz Artem Timoshenko, professor assistente de marketing na Kellogg. “A vantagem é entrar no mercado com um novo barbeador seis meses antes do seu concorrente".

Assim, Artem Timoshenko e seu colega John Hauser, do MIT Sloan, queriam saber se era possível obter informações semelhantes sobre as necessidades dos clientes a partir dos comentários já existentes dos clientes, ou seja, conteúdo gerado pelo usuário, como avaliações na Amazon ou dados de redes sociais.

Surgiram duas perguntas específicas: Primeira, poderiam os analistas profissionais de pesquisa de mercado extrair informações úteis dessas avaliações? E segunda, os algoritmos de aprendizado de máquina poderiam permitir que isso fosse feito com mais eficiência?

Prospecção das avaliações de produtos

Para responder à primeira pergunta, os pesquisadores contrataram a Applied Marketing Science, Inc. (AMS), uma empresa de consultoria de marketing. A AMS tem mais de vinte anos de experiência em pesquisa de mercado e identificação das necessidades dos clientes, e recentemente realizou um estudo baseado em entrevistas com clientes sobre suas necessidades em relação a produtos de higiene bucal.

“Foi muito conveniente tanto do ponto de vista comercial quanto de pesquisa”, explica Timoshenko, já que as escovas de dentes representam uma categoria de produto bastante padronizada e com muitas avaliações na Amazon. Além disso, a AMS estava empolgada com as perguntas dos pesquisadores e ansiosa por entrar nessa parceria.

Ao se tratar de produtos para higiene bucal, muitos clientes relatam necessidades bastante diretas: os produtos precisam manter os dentes limpos e brancos, manter as gengivas saudáveis e não danificar tratamentos odontológicos anteriores.

Outros clientes, porém, podem mencionar necessidades que se menos espera, como saber quanto tempo gastar em determinadas partes da boca durante a rotina de higiene bucal. Isso pode levar a ideias para outros produtos, como escovas de dentes que emitem bipes em intervalos de tempo ou desligam após um certo número de minutos.

As entrevistas experimentais realizadas pela AMS revelaram 86 necessidades diferentes dos clientes para produtos de higiene bucal, um número normal para essa categoria de produtos. O objetivo de analisar essas necessidades dos clientes é encontrar um tesouro escondido: uma necessidade que é muito importante, mas que os produtos existentes não atendem adequadamente.

Para saber se os profissionais de marketing poderiam coletar o mesmo tipo de informação sobre as necessidades dos clientes, e possíveis informações ocultas, nas avaliações on-line geradas pelos usuários, assim como nas entrevistas e nos grupos focais, os pesquisadores selecionaram aleatoriamente um subconjunto de avaliações da Amazon para produtos de higiene bucal, que foi repassado a um grupo de analistas da AMS. Os analistas não coletaram ou analisaram as entrevistas com os clientes, mas foram treinados para tal. Cada uma das avaliações do subconjunto foi apresentada aos analistas na íntegra e, juntas, somaram 12 mil frases, o que levou os analistas a dedicar aproximadamente o mesmo tempo para revisar se comparado a um conjunto padrão de 20–25 transcrições de entrevistas experimentais.

Durante o estudo, Timoshenko e Hauser pensaram que as avaliações da Amazon poderiam apresentar vantagens em relação às entrevistas tradicionais com clientes. Por exemplo, talvez ofereçam acesso a uma população de clientes que provavelmente não participariam de um grupo focal.

“Imaginamos que, se uma empresa está localizada em Boston, ela entrevistaria principalmente os habitantes daquela cidade", diz Timoshenko. “Entretanto, é possível que pessoas em outras cidades tenham experiências de produtos e modelos de uso diferentes".

Outra possível vantagem é que os clientes tendem a escrever avaliações on-line imediatamente após usar o produto. Os participantes de um grupo focal, por outro lado, podem ter usado o produto um ou dois meses antes de serem entrevistados e já terem esquecido de partes importantes de sua experiência.

No entanto, os pesquisadores também suspeitavam que as avaliações on-line pudessem apresentar grandes desvantagens. Mais especificamente, "há muitas pesquisas que sugerem que as avaliações on-line são enviesadas com opiniões extremamente positivas ou extremamente negativas", diz Timoshenko. "Assim, poderíamos não estar a par de algumas das necessidades dos clientes que geralmente são expressas em linguagem mais neutra".

Por exemplo, o fato de uma escova de dentes realmente limpar os dentes, um uso importante, mas longe de ser empolgante, pode não ser o tipo de coisa mencionada por um cliente. Essa foi uma grande preocupação, pois a articulação de todo o conjunto de necessidades dos clientes pode ajudar as equipes de gerenciamento de produtos a identificar novas oportunidades, mesmo quando algumas das necessidades dos clientes não são surpreendentes com o uso do produto.

O que os pesquisadores encontraram? Primeiro, quase todas (97%) as necessidades dos clientes identificadas nas entrevistas e nos grupos focais também foram encontradas nas avaliações da Amazon.

"Isso sugere imediatamente que, pelo menos em algumas categorias, somos capazes de eliminar completamente a necessidade de realizar entrevistas e grupos focais", diz Timoshenko. “E essa é a parte mais demorada da pesquisa de mercado quanto a necessidades de clientes".

A segunda constatação foi que as avaliações da Amazon continham oito necessidades adicionais dos clientes (quase 10% do total) não mencionadas durante as entrevistas. Não eram materialmente diferentes das mencionadas pelos clientes, parecendo também muito importantes para os clientes e úteis para o desenvolvimento futuro dos produtos, sugerindo que a análise de avaliações geradas pelos usuários pode fornecer uma visão mais completa das necessidades dos clientes.

Timoshenko suspeita que, se tivessem sido realizadas entrevistas adicionais e grupos focais, essas necessidades acabariam surgindo. “Mas realizar o dobro do número de entrevistas é muito mais caro, em termos financeiros e de tempo, do que simplesmente dobrar a quantidade de conteúdo on-line que analisamos".
Máquinas ajudando os seres humanos
Em seguida, os pesquisadores tentaram descobrir se seria possível usar o aprendizado de máquina para tornar os analistas humanos mais eficientes. Mais especificamente, criaram um algoritmo para "pré-selecionar" as avaliações, eliminando as menos úteis para que os analistas pudessem fazer uso mais produtivo de seu tempo.

Os pesquisadores treinaram um algoritmo para pré-selecionar as avaliações de duas maneiras: removeram frases não informativas e reduziram as redundantes. Frases não informativas, que compõem quase metade de todas as frases do corpus, podem simplesmente dizer "Meu filho ama este produto", que é um sentimento perfeitamente legítimo, mas que não levará à inovação de produtos. As avaliações redundantes, também predominantes no corpus, mencionam a mesma deficiência ou benefício repetidamente.

Os pesquisadores descobriram que a pré-seleção pelo algoritmo permitiu aos analistas encontrar o mesmo número de necessidades dos clientes em cerca de 20% menos frases.

“Esta foi a prova do conceito", diz Timoshenko. Ele está confiante de que, com mais experiências e engenharia, a eficiência continuará a aumentar, assim como os métodos para pesquisas de mercado tradicionais baseadas em entrevistas melhoraram ao longo de anos de prática.

Para esse fim, os pesquisadores disponibilizaram o código gratuitamente às empresas e estão ansiosos para aprender como está sendo desenvolvido e aplicado por empresas de diferentes setores.

Uma empresa da indústria de alimentos, por exemplo, usou os métodos dos pesquisadores e descobriu que identificam tipos muito diferentes de necessidades dos clientes, dependendo se estão procurando avaliações on-line ou dados de redes sociais.

Timoshenko diz que isso destaca o fato de que, como várias fontes de feedback são levadas em conta, a necessidade de ferramentas de aprendizado de máquina só aumenta.

“Há ainda mais necessidade de pré-processar essas informações", diz ele. “Uma vez que existem milhões de avaliações da Amazon para um produto específico, e você deseja combiná-las com os dados de redes sociais e as avaliações on-line de outras fontes, isso só aumenta a quantidade de conteúdo que é preciso processar. E isso torna o aprendizado de máquina muito importante”.
Benefícios inesperados
Durante a pesquisa, Timoshenko e Hauser descobriram que a análise de conteúdo gerado pelo usuário apresentou outra vantagem bastante inesperada em relação as entrevistas e os grupos de foco tradicionais: a capacidade de "fazer acompanhamento" de um comentário ou necessidade intrigante do cliente em que é preciso se aprofundar.

Em um cenário de entrevista tradicional, ele explica, “você não tem a oportunidade de contatar o mesmo entrevistado e falar sobre tal experiência. É uma oportunidade perdida”.

Com o conteúdo gerado pelo usuário, por outro lado, você pode realmente explorar mais. Com uma ideia interessante em mente, você pode voltar a todas as milhares de avaliações para procurar pistas adicionais. “Você não vai exatamente na mesma avaliação do cliente, mas pode procurar a palavra-chave, uma frase específica ou a experiência em particular", diz Timoshenko.

No geral, ele quer que os profissionais de marketing entendam que o aprendizado de máquina pode ser uma ferramenta poderosa, não apenas para substituir a inteligência humana, mas para aumentá-la.

“Um dos grandes avanços nesta pesquisa foi quando concordamos com a ideia de que o aprendizado de máquina não tem condições de sanar todos os desafios desse processo”, diz Timoshenko. “A maioria das pessoas, quando pensa em aprendizado de máquina, procura soluções completamente automatizadas. Parece que os humanos são naturalmente muito melhores do que as máquinas em algumas tarefas. E eles continuarão melhores no futuro próximo e formular as necessidades dos clientes é uma dessas tarefas.”

O cliente pode dizer: "Eu não gosto desta escova de dentes porque não possui temporizador de 30 segundos". Mas a necessidade subjacente do cliente é que quer saber quanto tempo deve gastar nas várias partes da sua rotina de limpeza bocal.

“É muito abstrato. É muito conceitual o que o cliente realmente deseja. Assim, essa etapa é melhor feita por seres humanos, que podem realmente aprender e entender a experiência humana dos outros clientes”.