Você já entende por que é importante cumprir as regulamentações de privacidade de dados, certo? E quanto aos padrões de coleta de dados da sua empresa? Eles estão à altura?
As seções a seguir ajudarão você a tomar medidas preventivas para garantir que suas operações de coleta de dados sejam 100% éticas:
Lista de verificação de provedores de Proxy em conformidade com a ética
Independentemente do provedor de coleta de dados que você escolher usar, é importante garantir que ele seja ético, obtenha seus pares legalmente e seja capaz de lidar com a coleta de dados na escala que sua empresa precisa.
Aqui está uma lista de verificação com 7 itens que você deve revisar cuidadosamente e usar para cada provedor de Proxy/coleta de dados que você está considerando usar:
Nº 1: Origem do Proxy – Pergunte : “Como sua empresa obtém seus IPs residencialis e móveis?”
Redes de coleta de dados e provedores de Proxy legítimos terão prazer em fornecer nomes específicos de aplicativos e softwares de rede de pares.
#2: Consentimento de pares – Pergunte : “Você pede o consentimento dos pares para usar seus IPs e os informa que seus dispositivos estão sendo utilizados como pares em uma rede de Proxy comercial?”
A única forma legal e ética de obter IPs residencialis e móveis reais é através do consentimento informado do usuário.
#3: Exclusão – Pergunte : “Seus pares podem facilmente se excluir da rede a qualquer momento?”
Não é preciso dizer que manter pares cativos, contra sua vontade, como membros de uma rede ponto a ponto de coleta de dados é altamente antiético.
#4: Conformidade com o GDPR e a CCPA – Pergunte: “Que informações de identificação pessoal (PII) você coleta dos pares? Você trata as PII de acordo com as diretrizes do GDPR?”
A conformidade legal é um princípio básico de ética na maioria dos casos. Certifique-se de que o provedor que você está considerando usar está em conformidade com as leis internacionais de proteção de dados.
#5: Remuneração dos pares – Pergunte: “Como você remunera os pares pela participação na sua rede Proxy?”
Qualquer empresa que queira se beneficiar dos recursos de um indivíduo deve fornecer a cada participante uma remuneração adequada. Nesse caso, certifique-se de que os usuários estejam sendo remunerados de forma justa pela participação, na forma de um upgrade gratuito da assinatura, experiência sem anúncios e similares.
#6: Recursos ociosos – Pergunte : “Quais são as suas condições para que o tráfego possa ser roteado através do dispositivo de um par? Você usa os recursos de um par apenas quando o dispositivo dele está ocioso e tem bateria suficiente?”
As empresasde coleta de dados que realmente se preocupam com o bem-estar dos participantes de sua rede nunca comprometerão a experiência do usuário de um par para rotear o tráfego da rede Proxy.
#7: Encerramento do SDK – Pergunte : “Quando o aplicativo que utiliza o SDK do fornecedor é desinstalado, o SDK também é desinstalado?”
Um provedor de Proxy legítimo garantirá que seu SDK seja desinstalado assim que o aplicativo que o contém for desinstalado do dispositivo do par.
Este é um sistema muito preciso e facilmente aplicável para classificar o grau de ética e conformidade legal de qualquer provedor de coleta de dados/ Proxy. Observe que apenas provedores que recebam uma pontuação 7/7 devem ser utilizados, pois o não cumprimento de apenas uma das 7 seções acima pode colocar sua coleta de dados e seus negócios em sério risco!
Aqui está um gráfico comparativo que criamos e que pode ser facilmente baixado em formato PDF para sua conveniência:
Fonte da imagem: Bright Data
Pioneirismo em ética na área de coleta de dados
Desde o início, a Bright Data colocou a importância das práticas éticas de coleta de dados em primeiro plano no DNA da empresa. Na verdade, uma das principais missões da empresa é: criar meios justos e éticos de coleta de dados que possam aumentar a concorrência, beneficiando tanto as empresas quanto os consumidores. A Bright Data é uma empresa muito orientada para a ação, e é por isso que sua missão tem sido colocada em prática desde o primeiro dia de atividade, incluindo:
Aquisição de IP – É feita de forma pública e consensual por meio de programas peer-to-peer, como o EarnApp.
O “Programa de Recompensas da Bright Data” – Convida o público a identificar e alertar a Bright Data sobre qualquer violação de segurança percebida.
Compromisso de exclusão – Os pares podem optar por sair a qualquer momento e têm o compromisso da Bright Data de que tanto o aplicativo quanto o SDK serão completamente removidos dos dispositivos dos parceiros. Leia mais sobre “O que torna nosso SDK ético?”
Auditorias de terceiros – A Bright Data trabalha continuamente com empresas independentes líderes para garantir que suas redes estejam em conformidade com as normas regulatórias, de segurança e legais.
Qualidade acima da quantidade – A Bright Data seleciona cuidadosamente seus parceiros SDK, que servem como fonte para a maioria de sua base de pares, para garantir que apenas os pares da mais alta qualidade participem da rede Bright Data. Isso, por sua vez, serve como garantia para a segurança dos usuários da rede.
Dados para todos – Da tecnologia de desbloqueio automatizado de dados à automação da coleta de dados, a Bright Data trabalha ativamente para tornar os dados uma mercadoria acessível a todos (não apenas às grandes corporações).
Integração ética – A Bright Data trabalha arduamente para garantir que não apenas sua rede de pares seja ética e compatível, mas que todos os usuários atuais e futuros da rede utilizem a rede apenas para casos de uso legais e éticos. Isso envolve um rigoroso processo de Verificação KYC, verificação contínua do registro de uso e um diretor e equipe dedicados à conformidade.
Zero revenda de IP – A Bright Data tem uma política de zero revenda de IP. Ponto final. Isso é extremamente importante, pois a revenda de IP é uma prática antiética e generalizada no setor de Proxy. Quando um IP é revendido, pode criar um cenário absurdo em que uma empresa paga dois provedores diferentes para usar o mesmo IP, obtendo resultados abaixo da média.
Fonte da imagem: Bright Data
Além da ética, tecnologia de ponta para coleta de dados
Uma conversa individual com o diretor de tecnologia da Bright Data, Ron Kol, revela como seus avanços tecnológicos estão levando a comunidade empresarial ao futuro da coleta de dados.
P: Qual é o fator mais importante em uma rede proxy do ponto de vista tecnológico? O tamanho do pool de IPs ainda é tão importante quanto costumava ser ou o setor está mudando de direção?
R: O tamanho do pool ainda é importante, mas não é mais suficiente para garantir o sucesso. Os sites começaram a olhar além do nível da rede (IP) para o nível do protocolo (SSL, HTTP) e o nível do navegador (impressões digitais do usuário), e está ficando mais difícil obter acesso até mesmo a informações públicas. As taxas de sucesso cairão drasticamente em sites que começaram a implantar bloqueios nesses níveis. Serviços de nível superior, como o Web Unlocker, a API Web Scraper eas ferramentas Serverless Functionsda Bright Data ,são necessários para obter boas taxas de sucesso.
P: Qual você diria que é o maior desafio da tecnologia de coleta de dados atualmente e nos próximos 10 anos?
R: O maior desafio no momento é como comercializar a coleta de dados públicos. Como construir plataformas de coleta de dados públicos confiáveis em grande escala, com dados validados de alta qualidade, e torná-las acessíveis a todos, não apenas aos engenheiros.
Olhando para o futuro, o desafio técnico seria criar um banco de dados indexado de informações públicas agregadas, onde você pudesse consultar qualquer Conjunto de dados de informações públicas de qualquer site com a mesma facilidade com que faz uma pesquisa no Google. Mapear a internet pública em Conjuntos de dados utilizáveis para negócios e torná-los transparentes e acessíveis a todos.
Resumindo
Independentemente de como você decidir obter seus dados, é importante garantir que eles sejam eticamente corretos e em conformidade com a lei. Fazer sua própria diligência independente é tão importante para o cliente quanto para a coleta de dados e a rede Proxy. Quando você faz sua lição de casa e garante que o mecanismo de dados que alimenta seu negócio está funcionando com óleo e não com água, você pode ter certeza de que o desempenho do negócio será ideal a longo prazo. Ter acesso à tecnologia de coleta de dados de última geração também não fará mal.
