Comparação: armazenamento descentralizado

30 de agosto de 2022

Movimentadores de mercado de camada 1 e camada 2 de armazenamento descentralizado em nuvem.

Hoje, eu gostaria de chamar a atenção para a disciplina de Web3 fortemente ofuscada pelos setores Defi e NFT. Pegando emprestado a voz de críticos, pode-se dizer que o estado atual de Defi e NFT é apenas uma economia sintética despejando capital para um grupo limitado de pessoas sem solucionar nenhum problema real do mundo… Por outro lado, existe uma tecnologia com a capacidade de otimizar custos em bilhões de dólares mensalmente ao manter conteúdos e dados da Internet, tudo de forma descentralizada, onde qualquer pessoa pode se beneficiar da participação.

Ideias de protocolos de dados peer-to-peer (ponto a ponto) já são conhecidas no espaço há mais de 20 anos com a introdução do BitTorrent, onde usuários regulares têm a capacidade de compartilhar qualquer dado entre si usando apenas a Internet. A tecnologia blockchain adiciona um próximo passo ao quadro com suas propriedades arquitetônicas para:

• Criar uma economia compartilhada descentralizada facilmente em qualquer indústria, com consensos como Proof of Work - Prova de Trabalho - (PoW) ou Proof of Stake - Prova de Participação - (PoS).
• Dar suporte à contratos inteligentes, lógicas de negócios autoexecutáveis com determinadas condições.

Graças a esses conceitos, os protocolos existentes podem evoluir, desde o compartilhamento de um filme ou música favoritos até a hospedagem completa de partes do seu computador para outros em necessidade e ajudá-los com:

• Backups de dados corporativos.
• Armazenamento de mídia para dApps operando com imagens/áudio/vídeo.
• Hospedagem de Website.

Este artigo apresentará brevemente os protocolos chave que estão desempenhando um papel no mercado de armazenamento descentralizado agora ou em um futuro próximo, como um acréscimo ao mercado de serviços de TI já em grande crescimento, incluindo o Amazon Web Service (AWS), Google Cloud, Microsoft Azure - projetados para crescem de $78,6 bilhões em 2022 para $183,7 bilhões por volta de 2027.

Protocolos resumidos

# Armazenamento de nuvem descentralizado - comparação.

1. IPFS

O IPFS, Interplanetary File System ou sistema de arquivo interplanetário, é um sistema distribuído para armazenamento e acesso de arquivos, sites, aplicativos e dados. O armazenamento ponto a ponto descentralizado L1 mais usado combina três conceitos-chave:

• Busca através de Content Identifier (CID ou identificador de conteúdo), ao invés de local físico, isso significa que a validação por hash SHA não corresponderá.
• Link de conteúdo via Directed Acyclic Graphs (DAG ou gráficos acíclicos direcionados), principalmente Merkle DAG, usado também no Git para conectar todos os comprometimentos em um repositório. Confira o dag.ipfs.io para visualizar o DAG.
• Busca de conteúdo usando Distribute Hash Tables (DHT ou tabelas de hash distribuído) com pares de valor-chave para encontrar quais pares estão hospedando os conteúdos procurados, usando a libp2p como componente principal.

# Sistema de arquivo interplanetário

Uma grande rede de nós (mais de 200.000) foi projetada para armazenar partes de arquivos únicos em múltiplos dispositivos e gerenciar o fluxo de dados com eficiência baseada em suas demandas.

• O uso do serviço IPFS é absolutamente GRATUITO, semelhante ao BitTorrent, você só precisa fazer parte da rede e compartilhar qualquer quantidade de dados. O importante é lembrar que os dados não serão mantidos por padrão se você não executar o nó 24/7 ou usar o serviço de terceiros para fazer isso para você.
• Segurança: IPFS é um protocolo público que inclui os conteúdos dos próprios arquivos, a menos que eles estejam criptografados por conta própria. Os CDIs são públicos e medidas adicionais são necessárias para manter a privacidade dos dados.

Aplicações

Felizmente, para mitigar os problemas de IPFS e aprimorar o seu uso, protocolos periféricos sobre os serviços desenvolvidos pelo IPFS fazem o trabalho pesado para você:

• Ceramic, rede de streaming (transmissão) de dados sem permissão para armazenamento de dados, identidade descentralizada e muito mais.
• Fission, sistema de arquivo WebNative com capacidades de armazenamento criptografado em repouso.
• Fleek/Spheron, hospedagem descentralizada para o seu front-end. React/Next com suporte primário, porém com a possibilidade de implantar mais frameworks de front-end.
• Lit protocol, camada de privacidade L2 para armazenamento seguro de dados IPFS.
• OrbitDB, banco de dados descentralizado ponto a ponto sem servidor, alavancando o IPFS Pubsub.
• Pinata, CDN (Content Delivery Network ou rede de distribuição de conteúdo) com mais de 200 locais de cache por todo o mundo. Simplifica o gerenciamento de arquivos IPFS e concede a habilidade de gerenciar conteúdo premium por meio do produto Submarine. Ideal para armazenar e manter negócios NFT.
• Filebase, da mesma forma que o Pinata, o Filebase oferece uma UI (User Interface ou interface de usuário) para fixar arquivos, neste caso, para IPFS, Storj, Sia ou Skynet. Além disso, fornece um conjunto de ferramentas para sincronizar o AWS S3, incluindo JavaScript e Python SDK.

1.1 Filecoin

O Filecoin é uma das camadas de incentivo (L2) ausentes para IPFS e verifica se os dados estão sendo armazenados, mantendo a eficiência, autenticidade e resiliência fornecidas pelo IPFS.

O Filecoin aprimora o IPFS com:

• Storage market (mercado de armazenamento), determina a precificação para armazenamento de dados fornecido pelas condições de mercado.
• Filgram, primeira ferramenta de descoberta de provedor de armazenamento e mercado para clientes.
• Data indexer (indexador de dados) para aprimorar a qualidade e o desempenho da pesquisa.

Os desenvolvedores podem interagir com o Filecoin de várias maneiras:

• O Powergate expõe um API de alto nível para interagir com os nós IPFS e Filecoin de maneira mai fácil através de CLI ou pontos de extremidade gRPC API com JavaScript ou Go.
• O Lotus CLI representa um conjunto de ferramentas mais poderoso, porém mais complicado, para gerenciar dados do Filecoin com os nós do Lótus.

Filecoin versus IPFS

• IPFS permite que pares armazenem, solicitem e transfiram dados verificáveis um para o outro (como o BitTorrent).
• Filecoin está projetado para fornecer um sistema de armazenamento de dados persistente. É uma garantia de que os mineradores tenham armazenado corretamente os dados que se comprometeram a manter.

Economia Filecoin

O armazenamento baseado em contrato pode ser mais facilmente entendido como um modelo de pagamento conforme o uso. Mais de 4000 mineradores participam da rede Filecoin compensados pelo token FIL e pelo preço acordado nos mercados de dados, agora mesmo:

• US$ 0,0000002 GB/mês.

Em comparação com o Amazon S3:

• US$ 0,013 GB/mês.

FVM

A máquina virtual do Filecoin (FVM - Filecoin Virtual Machine) pode ser um dos protocolos de atualização de capacidades que muda o jogo, além de apenas armazenar dados com lógica de negócios adicional, chegando em 2023. Contratos inteligentes compatíveis com a EVM (Ethereum Virtual Machine) com armazenamento ilimitado podem permitir casos de uso como:

• NFTs com mídia on-chain;
• Computação descentralizada;
• DAOs de dados.

Mais sobre FVM em:

1.2 Crust

A rede Crust é essencialmente um protocolo de camada de incentivo de IPFS e uma blockchain baseada em substrato (ecossistema Polkadot), semelhante ao Crust do Filecoin:

• Estabelece o mercado de armazenamento de dados entre provedores de nós IPFS e provedores de dados.
• Oferece “Google Drive” pessoal como armazenamento criptografado em Web 3.0 para uso privado ou público.

Os principais conceitos de consenso apoiados por mais de 2.000 nós consistem em 3 camadas:

• MPOW (Meaningful Proof of Work ou Prova de Trabalho significativo) - é uma camada de prova de armazenamento de baixa confiança/confiança zero baseada em TEE (Trusted Execution Environment ou ambiente de execução confiável) serve como mensagens off-chain para inspecionar e provar o trabalho de armazenamento dos mineradores.
• GPOS (Guaranteed Proof of Stake ou Prova de Participação garantida) - é uma camada de consenso derivada de PoS que exige que os nós forneçam provas de armazenamento para obter a cota de staking como um aspecto motivador.
• DSM - Decentralized Storage Market ou mercado de armazenamento descentralizado para condições de precificação de handshake (aperto de mão ou acordo) entre compradores e vendedores.

Tudo com um suporte de um conjunto de ferramentas para:

• Auto-implantar o dApp/site através da ação Github.
• Fixação descentralizada através da ação Github, do pacote Node.js ou da CLI da Crust.

Como vencedora do leilão de parachain da Polkadot, a Crust pretende alavancar suas propriedades de interoperabilidade com outras parachains como a Astar ou Moonbeam e se tornar o lar de armazenamento de dados para contratos inteligentes construídos no ecossistema Polkadot ou Kusama.

2. Sia

O Sia é um armazenamento em nuvem descentralizado de camada 1 baseado em contrato (semelhante ao Filecoin) que usa a tecnologia blockchain com economia alimentada pelo token SIA. Cada arquivo é dividido em 30 partes em torno de vários nós, dos quais 10 são suficientes para compor o arquivo de volta em caso de indisponibilidade (codificação de apagamento Reed-Solomon). Um aspecto chave a ser lembrado deve ser o seu foco na privacidade.

• Tamanho máximo de arquivo individual = 300 GB.
• Todos os arquivos são privados por padrão usando o algoritmo Threefish para alto desempenho e criptografia segura.
• O preço muda dinamicamente, agora com o preço de armazenamento mensal em torno de US$ 1/TB, preço de upload de US$ 0,50/TB, preço de download de US$ 2/TB.

# Preço médio do SIA em $$$

A combinação de sua privacidade e seu preço torna o ambiente Sia adequado para armazenar backups grandes de longo prazo mais baratos do que nuvens centralizadas como o Google Drive. A inflação ilimitada da moeda Sia também indica que seu preço não disparará e mantém o armazenamento barato.

2.1 Skynet

Preparei algumas frases sobre uma camada em cima do Sia chamada Skynet, mas, no momento da escrita, a Skynet Labs anunciou o fim do jogo devido à falta de financiamento… então, foda-se.

Embora o mercado de armazenamento descentralizado não experiencie a mesma competitividade e entusiasmo de NFT ou Defi, é preciso muito esforço, criatividade e disciplina para oferecer algo especial para atrair usuários e desenvolvedores a migrar da solução centralizada… Isso acontecerá em companhias startups, as personalidades podem conflitar, erros podem ser cometidos e, às vezes, muito de tudo isso junto.

3. Storj

Desde sua criação em 2014, a Storj se tornou uma solução de armazenamento baseada em contrato de camada 1 bastante poderosa, com rede desenvolvida e recursos interessantes, incluindo:

• Opção de sincronização com os buckets AWS S3 através da CLI Uplink protegida pela criptografia AES-256-GCM;
• Backups no MongoDB;
• Transferência de arquivos com Filezilla.

Dados

Os arquivos são divididos em 80 ou mais pacotes e colocados entre vários nós ao redor do mundo (total de mais de 14k). Apenas 29 pacotes são necessários para compor um arquivo para garantir buffer o suficiente em caso de falha de nós (novamente usando codificação Reed-Solomon) e alta disponibilidade > 99,9%.

Todos com modelos de preços ricos com opções GRATUITAS e pagas (PRO).:

• GRATUITO: 150 GB de armazenamento e largura de banda, mensalmente;
• PRO: armazenamento de $ 4/TB, largura de banda de $ 7/TB, mensalmente.

O usuário pode pensar na Storj em casos de uso como serviços de streaming de áudio/vídeo, calcular custos com uma equipe dedicada e explorar a tecnologia em constante aprimoramento.

4. Arweave

A abordagem do Arweave é um pouco diferente, um consenso chamado PoA (Proof of Access ou Prova de Acesso) visa que todos os arquivos sejam permanentemente armazenados. O consenso motiva a divisão aleatória do histórico de blocos entre os nós, seu algoritmo identifica quais dados são menos compartilhados e dá maior recompensa para os mineradores que cobrem arquivos raros.

Por um lado, as habilidades dos mineradores poderiam ser muito otimizadas e nenhum arquivo seria esquecido ou perdido por engano. Por outro, existe uma preocupação a respeito da sua regra de moderação de conteúdo, alguns usuários poderiam ter dificuldade com a ideia de armazenamento de dados caros em protocolos censurados, onde arquivos identificados como abusivos poderiam ser descartados do arquivo por votação democrática.

• Usuários pagam uma taxa para armazenar permanentemente os dados, o preço é calculado dinamicamente. Nesse momento, custa em torno de $ 2/GB;
• A rede cobre todos os 1000 nós da blockchain (SPoRA) com taxa de transferência de transação de mais de 5000 TPS.
• Dados no Arweave são sempre imutáveis.
• O ArDrive serve como armazenamento de arquivo criptografado e plataforma de organização.

Embora a interação direta com o Arweave pode ser desafiadora, existe uma solução para tornar a vida mais fácil chamada Bundlr...

Bundlr

A Bundlr aumenta o número de transações conduzidas no Arweave em 4.000% sem sacrificar a segurança e a usabilidade e é aproximadamente 3000x mais rápida em upload de dados.

A Bundlr é, na verdade, uma rede Proof-of-Stake que está sobre a Arweave e representa atualmente mais de 90% dos dados enviados para o Arweave. É uma solução multichain e é compatível com blockchains importantes, incluindo Ethereum, Solana, Avalanche, Polygon e muitas outras.

Validadores são escolhidos aleatoriamente todos os dias para serem encarregados de garantir que as transações passem para o Arweave, além de fornecer:

• Camada de cache;
• Escalabilidade infinita;
• Finalidade de transação instantânea garantida;
• Uploads de dados gratuitos abaixo de 100KB.

A especificação do pacote, projetada pela Bundlr, é de código aberto (open-sourced) e está atualmente implementada em JavaScript e Go.

Outras referências:

Resumo

O compartilhamento de recursos de computação terá um grande papel no futuro, embora seu impacto não represente os casos de uso da blockchain que muitos de nós gostariam de ver - como acabar com a fome mundial, corrigir falhas econômicas ou alcançar justiça política. Seus benefícios são diretos e qualquer um envolvido em TI apreciará a otimização de custos para dados e taxas de transferência, que se tornaram, em alguma escala, inacessíveis para empresas menores e sonhadores.

Além disso, armazenamento de dados barato juntamente com blockchains de escala de alto desempenho poderiam destravar novas formas de interações que eu não consigo imaginar agora.

Se eu for resumir o que vi, existem alguns protocolos base para armazenamentos de dados de uma maneira descentralizada:

• IPFS, que não é exatamente uma blockchain, mas desenvolveu um rico ecossistema de ideias terceirizadas, usa uma economia blockchain para trazer bons serviços de dados baratos para todos.
• Storj, um armazenamento em nuvem baseado em contrato muito bem desenvolvido, se aprimorando constantemente com a possibilidade de sincronização com AWS S3.
• Sia, no papel, um protocolo seguro para armazenar grandes backups de maneira privada e mais barata do que no Google, embora com uma reputação questionável e futuro duvidoso por conta da falta de incentivos do ecossistema.
• Arweave, um armazenamento verdadeiramente permanente, útil para arquivamento impulsionado com Bundlr L2. Embora tenha um mecanismo de moderação de conteúdo integrado, pode-se ter medo de censura em potencial se o conteúdo for controverso por qualquer razão.

Uma observação a ser feita aqui é que, se alguém rotula algum projeto como um assassino do AWS/GCP, deve-se ter cuidado, pois todos os protocolos mencionados acima ainda não possuem nem 1% de todos os recursos e gadgets que a GCP ou AWS oferecem atualmente. A ideia de que as alternativas de blockchain poderiam conquistar uma parcela significativa do mercado de centenas de bilhões é bastante pessimista.

Se o mercado provar a maneira que a blockchain está funcionando em armazenamento de dados e computação em nuvem, tanto fornecedores quanto consumidores lucram. Em algum ponto, as maiores empresas do mundo com milhares de anos de experiência em TI provavelmente perceberiam, adaptariam, comprariam equipes e ganhariam alguma vantagem. Mas isso não é de todo ruim - significaria que esse caminho foi significativo e gerará negócios e benefícios para muitos nos próximos anos ou décadas.

Esse artigo foi escrito por Michal Kazdan e traduzido por Isabela Curado Nehme. Seu original pode ser lido aqui.