Quando eu estava pesquisando detalhes relacionados à migração do Dropbox para a extensão do provedor de arquivos da Apple (consulte “O provedor de arquivos da Apple força mudanças no armazenamento em nuvem do Mac”, 10 de março de 2023), fiquei intrigado ao ver comentários de pessoas no mundo da mídia, onde tenho pouca experiência. Essas pessoas habitam uma realidade digital totalmente diferente dos usuários comuns que estão satisfeitos com 1 TB de armazenamento interno. Usuário millifoo escreveu:
Usamos a sincronização em nuvem com nossas grandes unidades externas para permitir a colaboração com edição de áudio/vídeo. O fluxo de trabalho para muitas empresas de mídia com pessoas que colaboram em vários locais exige que os arquivos sejam locais (velocidade de edição e reprodução), e a sincronização por meio da nuvem não apenas facilita isso, mas também faz backup de todos os arquivos em caso de catástrofe.
Outros observaram que os planos do Dropbox não fornecem armazenamento suficiente. Os planos Plus e Family incluem 2 TB, o plano Professional é de 3 TB e o plano de equipe Standard vem com 5 TB. Apenas o plano Advanced, de $ 24 por usuário por mês, permite mais armazenamento. De quanto esse pessoal da mídia precisa? KyleKoch observou:
Muitos de nós exigem que o Dropbox esteja em unidades externas quando a mídia é local. A logística para gerenciar ativos de vídeo em uma pasta do Dropbox localizada na unidade do sistema operacional não faz sentido quando você tem mais de 50 TB de armazenamento em nuvem.
Usuário solldavid concordou:
Temos o plano avançado e temos mais de 200 TB de ativos na nuvem do Dropbox, todos visíveis e pesquisáveis no OSX Finder via “somente online” e restauráveis com um download de largura de banda total. É o melhor produto da indústria, imo. Sim, você precisa de no mínimo três “usuários”.
Infelizmente, no tópico do tópico, essa mudança da Apple e do Dropbox ameaça todo o meu fluxo de trabalho. Mantemos 3-6 TB disponíveis off-line por vez para manter grandes arquivos de vídeo, GFX e 3D sincronizados em estações de trabalho remotas, e temos feito isso com SSDs externos com sucesso desde 2012. Tem sido a base do nosso fluxo de trabalho, super confiável , muito rápido e não sei o que teria feito sem ele.
E o usuário jmeredi2 disse:
Temos um plano empresarial avançado com 6 usuários pelo qual pagamos cerca de US$ 1.700/ano. Este é um plano ilimitado, então cada vez que atingimos nosso limite de armazenamento, eles nos dão mais espaço. Infelizmente, isso obviamente não funcionará mais com a “atualização” do DropBox, a menos que eu encontre computadores com discos rígidos internos de 30-40 TB.
Reconheço que muitas pessoas precisam de mais de um terabyte ou dois de armazenamento em nuvem, mas esses comentários me deram uma espiada nas demandas da mídia profissional. Compartilho isso como contexto porque, logo após a publicação do meu artigo, ouvi do leitor de”TNGD”, Steven Niedzielski, sobre como LucidLink, a empresa em que ele trabalha para, fornece armazenamento em nuvem transmitido para usuários de mídia de alto desempenho. Eu estava curioso para saber mais, mesmo que o sistema seja um exagero para a maioria de nós.
LucidLink repensa o armazenamento em nuvem
O pano de fundo do meu artigo anterior foi a extensão do provedor de arquivos da Apple , que oferece uma abordagem coerente para serviços de “sincronização e compartilhamento” como Box, Dropbox, Google Drive e Microsoft OneDrive.
Todos eles contam com uma arquitetura relativamente simples, conceitualmente falando. Todos os seus arquivos são armazenados online e podem ser acessados por meio de uma interface da Web. O software cliente para diferentes sistemas operacionais sincroniza esse armazenamento de dados com os dispositivos, seja com conteúdo completo (offline) ou em forma de espaço reservado (somente online). Se você precisar trabalhar em um arquivo somente online, ele deverá ser baixado em sua totalidade antes que você possa acessá-lo. Alterações, incluindo adições, exclusões e ajustes na estrutura de diretórios, são sincronizadas de um cliente primeiro de volta para a nuvem e depois para todos os outros clientes conectados. Algumas dessas alterações podem depender de uma abordagem diff, em que apenas os bits alterados de um arquivo específico precisam ser transferidos; em outros casos, o arquivo inteiro deve ser enviado de volta.
LucidLink não funciona dessa forma. No Mac, ele se baseia no MacFUSE para montar o Sistema de arquivos nativo da nuvem do Filespace como um volume Mac padrão. (O LucidLink também está disponível para Windows e Linux.) Pense um pouco sobre isso. Você interage com o que parece ser uma unidade externa ou de rede normal no Finder, mas o que está por trás disso são dados em um sistema de arquivos nativo da nuvem. Assim, abrir um arquivo do LucidLink funciona da mesma forma que abrir um arquivo do SSD interno de um Mac, embora ele leia e grave dados em blocos de 256 kilobytes, enquanto o tamanho de bloco padrão para armazenamento local do macOS é de 4096 bytes.
Isso significa que o LucidLink não precisa sincronizar um arquivo inteiro antes de abri-lo, como seria o caso de um arquivo somente online no Dropbox, por exemplo. Com arquivos pequenos, a abordagem de sincronização funciona bem, mas com o tamanho dos arquivos usados no mundo da mídia, recuperar um arquivo da nuvem leva um tempo significativo, daí a necessidade de grandes unidades externas para armazenar versões locais.
Há muito tempo penso que o MacFUSE é uma maneira brilhante de integrar sistemas de arquivos incomuns à experiência do Mac, então entendi o que o LucidLink estava fazendo. No entanto, imediatamente perguntei a Niedzielski quanta largura de banda o LucidLink precisava, esperando que ele admitisse que uma conexão de fibra de 1 Gbps era necessária e que todos os profissionais de vídeo sérios tinham essa conectividade.
Em vez disso, ele disse que 50 Mbps para baixo e 10 Mbps acima era um mínimo realista para trabalho sem vídeo. Em um mundo de vídeo ideal, ele observou que você deseja corresponder à largura de banda do seu fluxo de vídeo para um comportamento contínuo. Não penso em vídeo em termos de largura de banda, mas suspeito que quanto mais você tiver, melhor-essa conexão de fibra pode ser uma boa ideia. Uma análise prática disse que o LucidLink funcionou bem com 230 Mbps para baixo, embora aparentemente em um cenário de fluxo de trabalho de proxy, onde a maioria das edições envolvia arquivos de proxy menores. A baixa latência também é importante, e a interface do LucidLink relata isso (consulte também “Use a ferramenta de qualidade de rede da Apple para testar a capacidade de resposta da Internet”, 22 de abril de 2022).
Por mais importante que seja a largura de banda, qualquer pessoa que use o Dropbox ou um serviço semelhante terá que armazenar todos esses dados localmente de qualquer maneira. O LucidLink também conta com um cache local rápido para melhorar o desempenho. O padrão é 5 GB na unidade interna, mas você pode redirecioná-lo para uma unidade externa e aumentá-lo para 10 TB. Além disso, se você sabe que estará trabalhando em determinados arquivos, pode “fixá-los” para pré-carregá-los no cache local. Mesmo com arquivos fixados, o LucidLink carrega apenas dados diferentes no nível do bloco, portanto, não precisa transferir arquivos inteiros para pequenas alterações.
Uma desvantagem da abordagem do LucidLink é que você não pode trabalhar offline, mesmo com arquivos fixados. Por ter uma única fonte de verdade na nuvem, os usuários precisam manter a conectividade com a Internet para que o serviço funcione. O cache local é apenas isso, um cache, não uma cópia independente de arquivos.
Há outro tipo de desvantagem na abordagem de cache do LucidLink. Alguns usuários do Dropbox veem a arquitetura de “sincronizar e compartilhar” como um backup. Não é, claro, já que qualquer usuário com as permissões apropriadas pode excluir arquivos inadvertidamente ou maliciosamente, mas você acaba com várias cópias na maioria das situações. O cache local do LucidLink não oferece nem isso.
No entanto, o sistema de arquivos Filespace do LucidLink oferece instantâneos automáticos, assim como o APFS. (Alguns planos do LucidLink permitem que você crie agendamentos de instantâneos personalizados.) Os instantâneos registram o estado exato de seus arquivos naquele momento, facilitando a recuperação de arquivos excluídos, corrompidos ou alterados. Eles usam o espaço com eficiência, registrando apenas os dados em nível de bloco que foram alterados entre dois instantâneos. Melhor ainda, os instantâneos são somente leitura, então eles também fornecem uma defesa contra ataques de ransomware que tentam destruir os backups.
No entanto, o LucidLink incentiva os backups. Niedzielski disse que a empresa considera o LucidLink um “espaço de colaboração ativo e quente” e recomenda que os usuários mantenham uma cópia separada de todos os arquivos. Isso pode ser em um dispositivo NAS local ou na nuvem para um serviço como Backblaze B2 ou Wasabi. Ele também mencionou que alguns clientes contam com um serviço de gerenciamento de dados chamado CloudSoda para migrar e proteger seus dados LucidLink-estamos falando de sérios problemas de nível empresarial capacidades aqui.
Não há dúvida de que o LucidLink é voltado para o mundo dos negócios, sejam empresas de mídia, grupos de imagens médicas ou equipes de desenvolvimento de jogos. Até mesmo o Departamento do Tesouro dos EUA é um cliente LucidLink. E se você está hesitante em pagar US$ 9,99 por mês por 2 TB de armazenamento de empresas como Dropbox, Google Drive ou iCloud Drive, o LucidLink é um exagero.
Mas não está fora de questão. O plano Basic Filespace do LucidLink custa US$ 20 por terabyte por mês para até cinco usuários — cada usuário adicional custa US$ 10 por mês. Isso é o dobro por mês pela metade do armazenamento com um serviço de nível de consumidor, que é caro, mas administrável para um freelancer ou um pequeno escritório. O plano Advanced Filespace custa US$ 80 por terabyte por mês, novamente com cinco usuários, mas usa armazenamento IBM em vez de armazenamento Wasabi para maior desempenho, fornece agendamentos de instantâneos personalizados e oferece integração de logon único.
Vale a pena observando que, na verdade, existem três partes no LucidLink: o LucidLink Client em execução no seu Mac, o LucidLink Service que gerencia os metadados e os instantâneos e o Object Storage, que é qualquer sistema de armazenamento compatível com S3 ou Azure. Isso explica o plano Custom Filespace, que custa apenas US$ 40 por terabyte por mês, mas permite que você forneça seu próprio armazenamento. No entanto, o armazenamento Wasabi e IBM nos outros planos não vem com taxas de saída, que a maioria dos provedores de armazenamento em nuvem cobra para recuperar dados. Com muito acesso a dados, as taxas de saída podem aumentar de forma rápida e imprevisível.
De um ponto de vista de segurança, LucidLink reivindica uma abordagem de “conhecimento zero”. O LucidLink Client fornece criptografia de ponta a ponta, com apenas o usuário segurando as chaves de criptografia. Além disso, o LucidLink Service nunca vê seus dados, apenas seus metadados, e os dados no provedor de armazenamento são criptografados em repouso. Parece muito bem pensado.
Não há razão para mudar para LucidLink de Dropbox, Google Drive ou iCloud Drive se tudo o que você precisa é armazenamento em nuvem e colaboração básica. No entanto, se você está enfrentando as limitações desses serviços, principalmente com trabalho de áudio ou vídeo, vale a pena dar uma olhada no LucidLink.
De modo geral, estou pensando se há um papel maior para o armazenamento on-line transmitido que se parece com armazenamento local. As preocupações com espaço livre podem se tornar uma coisa do passado se nossos dispositivos puderem acessar quantidades teoricamente ilimitadas de armazenamento online a qualquer momento. O armazenamento em cache ainda seria útil por motivos de desempenho e possivelmente para eliminar a necessidade de conectividade constante, mas sempre teríamos tanto armazenamento quanto precisássemos… e estávamos dispostos a pagar, é claro.