Filme A REVOLUÇÃO
DOS DADOS NA WEB
A Revolução dos Dados na Web
2022 | 10m 12s | Tecnologia e Negócios
Este pequeno documentário explora como os dados públicos estão a mudar a forma como as empresas vêm, pensam e tomam decisões.
A Revolução dos Dados na Web
Como os dados públicos estão a mudar a forma como as empresas vêm, pensam e tomam decisões
Diz-se que, nos primeiros tempos do Walmart, Sam Walton monitorizava como as lojas se estavam a sair, contando os carros no parque de estacionamento.
Agora, imagine se ele pudesse contar os carros em cada Walmart e cruzar esses dados com promoções locais, a fim de otimizar a sua publicidade.
Ou se ele pudesse monitorizar os movimentos de preços em linha de cada concorrente por código postal, a fim de marcar as suas estratégias de preços.
Ou se ele pudesse captar a marca, modelo e idade de cada carro para decidir os melhores locais para adicionar autocentros.
Sessenta anos após Sam ter aberto a sua primeira loja, o poder de coletar dados da web está a tornar estas questões outrora desconhecidas notavelmente conhecidas. Está a fazer com que as salas de administração, os laboratórios de produtos e os departamentos de marketing de muitas empresas de topo pareçam mais agências de inteligência.
Esta revolução é parcialmente técnica: Vastas redes de servidores proxy, especialmente construídas para a coleta de dados em grande escala na web, tornaram possível coletar, estruturar e interpretar dados de novas formas extremamente úteis. Esta é uma alteração à ordem da força de vendas transformando a gestão da relação com o cliente ou o Slack substituindo o correio eletrónico do escritório.
É também filosófica: a arte da liderança depende agora menos de ser capaz de adivinhar as respostas certas, e mais de formular boas perguntas. Faça as perguntas certas e, para um observador externo, a sua vantagem competitiva pode parecer totalmente injusta.
Mas fazer boas perguntas nem sempre vem naturalmente.
Quanto tempo passa a fazer investigação antes de tomar uma grande decisão? Para muitos de nós, a resposta não é muito. Os humanos fazem naturalmente suposições para simplificar um mundo complexo – detetar padrões, tirar partido de experiências, partilhar dicas, e seguir nosso instinto.
Este modo de pensar é muitas vezes surpreendentemente preciso, mas também vem com dezenas de pontos cegos, tais como o viés de recência, o que significa confiar demasiado nas nossas memórias mais recentes, o viés de confirmação, o que significa procurar inconscientemente informação que apoia aquilo em que já acreditamos, e a falácia narrativa, que é a tendência humana para acreditar na melhor história e não nos dados mais fortes.
Capitalizar a revolução dos dados públicos exige uma abordagem mais Zen. Isso significa abordar as decisões empresariais sem preconceitos, mesmo quando estudamos situações que pensamos conhecer muito bem.
Eliminar os pressupostos existentes pode ajudá-lo a encontrar novas informações, como um principiante pode fazer. Pode revelar ligações que se escondem à vista de todos – como a forma como o número de carros no parque de estacionamento se alinha com o número de dólares que atingem o ponto final.
Os dados permitem-lhe ver a dinâmica do mercado através dos produtos, preços, inventário, cadeias de abastecimento e comportamentos dos consumidores. Diz-lhe o que os clientes estão a fazer, dá resposta a tendências críticas, e pode mesmo ajudá-lo a antecipar o que os seus concorrentes irão fazer a seguir.
A coleta de informações a partir de dados públicos da web apresenta um ponto de viragem. As empresas que perderam a ascensão da Internet ou da economia móvel pagaram caro. Perca-se a revolução dos dados da web e poderá tornar-se o próximo Blockbuster Video.
A que velocidade está isto a crescer? Na Bright Data, processamos 15 mil milhões de pedidos por dia, ou mais de 1,5 vezes todos os motores de busca do mundo combinados. Esse número está a aumentar constantemente.
As respostas estão lá fora. Aqui estão algumas das perguntas brilhantes que os nossos clientes estão a fazer para as encontrar:
Pergunta um analista de investimento:
“Qual é a tendência do preço de venda ao público da lixívia?”
Micah é analista de um fundo de cobertura de Boston onde há muita pressão para gerar novas ideias de investimento. Ao pesquisar os seus rastreadores de estoque, uma empresa de químicos chamou-lhe a atenção. Os números da empresa pareciam fortes, mas ele queria compreender se poderiam manter o seu poder de fixação de preços num ambiente inflacionário.
Foi aí que ele teve uma ideia: Uma vez que a empresa era um dos maiores vendedores da indústria da lixívia, Micah podia acompanhar os preços da lixívia em todos os mercados que a empresa fornecia. Ele descobriu uma tendência clara de aumento dos preços a retalho, indicando que a empresa tinha poder de fixação de preços e poderia provavelmente proteger as suas margens.
Na atual linguagem de investimento, dados públicos da web como este são chamados dados alternativos, e a maioria dos fundos de cobertura estão a utilizá-los para complementar fontes convencionais, tais como chamadas de ganhos e relatórios anuais. Pense em imagens aéreas de centros de distribuição, meios de comunicação social a ouvir o sentimento dos investidores, ou monitorização meteorológica para prever as colheitas.
Espera-se que o mercado global de dados alternativos cresça a 46,5% ao ano e valha $13,91 mil milhões para 2026.
Fonte: Alternative Data Global Market Report 2022
Pergunta um Chefe de Marketing:
“Como é que as pessoas estão a vender o meu produto em linha?”
Jill dirige o marketing de uma marca de moda europeia, onde é responsável por manter uma imagem de marca e uma experiência de cliente impecáveis.
Isto significa que cada fotografia tem de estar em marca. As descrições devem ser corretas. As promoções têm de seguir-se a campanhas sazonais. Não pode haver vendas ou descontos não autorizados. Os tempos de expedição têm de ser rápidos.
Mas, num mundo com dezenas de milhares de revendedores em linha, como é que se mantém a integridade da marca? Para a equipa de Jill, a resposta é “dados públicos na web”. Procuram continuamente na Internet os seus produtos e alimentam os resultados com um algoritmo que os pode notificar de qualquer descoberta relativa.
Ser capaz de pesquisar texto, imagens, áudio e vídeo à escala está a ser utilizado para proteger todos os tipos de marcas e a sua propriedade intelectual. Ajuda os artistas a detetar utilizações do seu trabalho em linha, e permite que plataformas de redes sociais bloqueiem o carregamento de material não licenciado.
Bright Data digitaliza aproximadamente um Petabyte de dados todos os dias. São 500 mil milhões de páginas de texto, ou mais de 100.000 filmes com qualidade de DVD.
Mesmo que esteja à procura de uma agulha num palheiro, podemos encontrá-la.
Pergunta um diretor executivo de viagens:
“Como posso fazer os melhores negócios de viagens no mundo?”
A empresa de Bert vive ou morre pelo tráfego da web. O seu desafio é certificar-se de que o seu sítio web continua a ser o destino mais preciso e completo na web para negócios de agências de viagens, hotéis e companhias aéreas.
Embora muitos fornecedores de viagens lhe disponibilizem informações básicas como preços e horários através de APIs, os dados são muitas vezes fragmentados, obsoletos ou incompletos.
A solução de Bert? Ele coleta continuamente as ofertas mais atuais em toda a web. Ele obtém os dados num formato que permite à sua equipa classificar algoritmicamente e apresentá-los aos consumidores para que possam identificar facilmente o melhor preço, o percurso mais curto, a data perfeita, e até mesmo o wifi gratuito, se for isso o que lhes interessa.
Os dados da web são poderosos para agregadores como Bert, quer pretendam reunir ofertas de cartões de crédito ou as melhores empresas de manutenção de relvados. Também funciona para os fornecedores finais – por exemplo, os hotéis no sítio de Bert podem coletar dados para compreender como as suas tarifas se comportam contra a concorrência.
O músico e investidor tecnológico will.i.am disse “WWW significa Wild Wild West (Oeste Selvagem)”.
A coleta pública de dados na web traz foco e estrutura ao caos da Internet.
Pergunta uma fundadora de startup:
“Como pode o meu produto destacar-se da concorrência?”
Maia criou um excelente produto – auscultadores com um equalizador incorporado que lhe permite personalizar o som com base nas alterações auditivas relacionadas com a idade. Mas sem uma grande estratégia de negócios, ela sabe que o seu produto nunca irá arrancar.
O seu primeiro passo foi utilizar ferramentas de coleta de dados públicos para descobrir todos os produtos competitivos na Amazon e noutros locais de venda a retalho. Ela construiu uma base de dados de preços, características, classificações e tudo o mais que a pudesse ajudar a posicionar o seu produto no ponto exato.
Em seguida, estabeleceu o acompanhamento contínuo de dados da concorrência – tudo desde preços, descontos, níveis de inventário e tempos de envio até variáveis como cores, vendas complementares e avaliações de usuários. Para além disso, cada variável poderia ser segmentada por país e região até ao código de área.
Tudo isto deu à Maia uma grande vantagem quando se tratou de criar os seus funis de marketing, estratégias de preços e promoções por correio eletrónico. Praticamente todos os negócios de comércio eletrónico podem seguir esta abordagem para capturar e estruturar dados da web em inteligência real e acionável.
O CEO da Bright Data, Or Lenchner, diz “A Internet é a maior base de dados do mundo, e agora pode consultá-la”.
Imagine ter um motor de busca concebido para lhe dar inteligência empresarial atuável.
Pode-se pensar na coleta de dados da web como ir à biblioteca pública e ler cada livro. Os fornecedores como Bright Data têm interesse em manter esta biblioteca aberta, e tomam precauções extra para assegurar a sua integridade. Fazemo-lo através de um código de ética, bem como de protocolos de software que previnem qualquer uso indevido da tecnologia.
Vemos a coleta e análise de dados públicos na web como uma evolução positiva significativa para a sociedade. É uma forte vantagem competitiva para as empresas. Melhora as escolhas para os consumidores. E também nos ajuda a lidar com algumas das mais importantes questões ambientais e sociais do nosso tempo.
Por exemplo, numa manhã fria de primavera do ano passado, a polícia arrombou a porta de um apartamento no sul de Chicago. Uma vez lá dentro, prenderam duas pessoas suspeitas de tráfico humano. Salvaram quatro mulheres, com idades compreendidas entre os 17 e os 26 anos, e recuperaram dinheiro, drogas e armas.
Estas detenções faziam parte de uma operação que coletava dados de anúncios sexuais comerciais em linha, ciência de dados, e análise de rede para identificar potenciais atividades de tráfico.
Esta história vem cortesia de The Bright Initiative – o nosso compromisso contínuo de utilizar a coleta de dados públicos na Internet para impulsionar o progresso em áreas como os direitos humanos, regulamentação, alterações climáticas, saúde pública e segurança na Internet.
Hoje em dia, a curva de adoção de dados da web está a acelerar rapidamente. Os usuários fazem perguntas inteligentes e encontram respostas valiosas em todos os domínios possíveis – desde corretores a gestores de carteiras, fabricantes a músicos, startups a multinacionais.
Imagine se fosse a única pessoa na Terra com acesso ao Google. Provavelmente, estaria a aprovar todos os exames, a saltar todos os que estão no seu caminho de carreira, e a surpreender os seus amigos com os seus conhecimentos espantosos. Provavelmente seria óbvio que trabalha com uma vantagem secreta.
Agora, pense em Micah aportando as melhores ideias de investimento, Jill construindo uma marca imaculada, Bert dominando o espaço de viagem, Maia recebendo tração com a sua startup. Já para não falar dos atos de justiça e heroísmo, todos alimentados pela maravilha dos dados da web.
As ferramentas de coleta de dados da web são como ter um superpoder. E, ao ritmo atual de mudança, não os conseguir agarrar agora poderia deixá-lo com aquela sensação de afundamento que se tem quando se apercebe que está preso em algum lugar sem wifi.
Mas não há razão para ficar preso. As ferramentas estão dispostas à sua frente. Tudo o que tem de fazer é trabalhar na formulação das perguntas certas e depois…
Basta perguntar.
