Lorsque j’étais en pleine recherche de détails liés à la migration de Dropbox vers l’extension du fournisseur de fichiers d’Apple (voir”Apple’s File Provider Force Mac Cloud Storage Changes”, 10 mars 2023), j’ai été intrigué de voir les commentaires de personnes du monde des médias, où j’ai peu d’expérience. Ces personnes vivent dans une réalité numérique totalement différente de celle des utilisateurs ordinaires qui se contentent de 1 To de stockage interne. Utilisateur millifoo a écrit :
Nous utilisons la synchronisation cloud avec nos énormes disques externes pour permettre la collaboration avec le montage audio/vidéo. Le flux de travail pour de nombreuses maisons de médias avec des personnes qui collaborent à plusieurs endroits nécessite que les fichiers soient locaux (vitesse d’édition et de lecture), et la synchronisation via le cloud facilite non seulement cela, mais sauvegarde également tous les fichiers en cas de catastrophe.
D’autres ont noté que les plans de Dropbox ne fournissent pas assez de stockage. Les plans Plus et Family incluent 2 To, le plan Professional est de 3 To et le plan d’équipe Standard comprend 5 To. Seul le plan Advanced, à 24 $ par utilisateur et par mois, permet plus de stockage. De combien ces gens des médias ont-ils besoin ? KyleKoch a noté :
Beaucoup d’entre nous ont besoin que Dropbox soit sur des disques externes lorsque le média est local. La logistique pour gérer les ressources vidéo dans un dossier Dropbox situé sur le lecteur du système d’exploitation n’a aucun sens lorsque vous disposez de plus de 50 To de stockage dans le cloud.
Utilisateur solldavid est d’accord :
Nous avons le plan avancé et avons jusqu’à 200 To d’actifs dans le cloud Dropbox, tous visibles et consultables dans OSX Finder via”en ligne uniquement”, et restaurables avec un téléchargement à pleine bande passante. C’est le meilleur produit de l’industrie imo. Oui, vous avez besoin d’un minimum de trois « utilisateurs ».
Malheureusement, en ce qui concerne le sujet, ce changement d’Apple et de Dropbox menace l’ensemble de mon flux de travail. Nous gardons 3 à 6 To disponibles hors connexion à la fois pour synchroniser les fichiers vidéo, GFX et 3D volumineux sur les postes de travail distants, et nous le faisons avec succès avec des SSD externes depuis 2012. C’est la pierre angulaire de notre flux de travail, super fiable , très rapide, et je ne sais pas ce que j’aurais fait sans lui.
Et l’utilisateur jmeredi2 a dit :
Nous avons un plan professionnel avancé avec 6 utilisateurs pour lequel nous payons environ 1 700 $/an. Il s’agit d’un forfait illimité, donc chaque fois que nous atteignons notre limite de stockage, ils nous donnent plus d’espace. Malheureusement, cela ne fonctionnera évidemment plus avec la”mise à niveau”de DropBox, sauf si je peux trouver des ordinateurs avec des disques durs internes de 30 à 40 To.
Je reconnais que beaucoup de gens ont besoin de plus d’un téraoctet ou deux du stockage en nuage, mais ces commentaires m’ont donné un aperçu des exigences des médias professionnels. Je partage cela comme contexte car peu de temps après la parution de mon article, Steven Niedzielski, lecteur de”TNGD”, m’a expliqué comment LucidLink, l’entreprise dans laquelle il travaille for, fournit un stockage cloud en streaming pour les utilisateurs multimédias hautes performances. J’étais curieux d’en savoir plus, même si le système est exagéré pour la plupart d’entre nous.
LucidLink repense le stockage en nuage
La toile de fond de mon article précédent était l’extension du fournisseur de fichiers d’Apple , qui offre une approche cohérente pour les services de « synchronisation et partage » comme Box, Dropbox, Google Drive et Microsoft OneDrive.
Ils reposent tous sur une architecture relativement simple, d’un point de vue conceptuel. Tous vos fichiers sont stockés en ligne et accessibles via une interface Web. Le logiciel client pour différents systèmes d’exploitation synchronise ce magasin de données avec les appareils, soit avec le contenu complet (hors ligne), soit sous forme d’espace réservé (en ligne uniquement). Si vous devez travailler sur un fichier uniquement en ligne, vous devez le télécharger dans son intégralité avant de pouvoir y accéder. Les modifications, y compris les ajouts, les suppressions et les ajustements apportés à la structure du répertoire, sont d’abord synchronisées d’un client vers le cloud, puis vers tous les autres clients connectés. Certaines de ces modifications peuvent reposer sur une approche diff, où seuls les bits modifiés d’un fichier particulier doivent être transférés ; dans d’autres cas, le fichier entier doit être renvoyé.
LucidLink ne fonctionne pas de cette façon. Sur Mac, il s’appuie sur MacFUSE pour monter la Système de fichiers natif dans le cloud Filespace en tant que volume Mac standard. (LucidLink est également disponible pour Windows et Linux.) Réfléchissez un instant à cela. Vous interagissez avec ce qui ressemble à un lecteur externe ou réseau normal dans le Finder, mais ce qui se cache derrière, ce sont des données dans un système de fichiers natif du cloud. Ainsi, l’ouverture d’un fichier à partir de LucidLink fonctionne de la même manière que l’ouverture d’un fichier à partir du SSD interne d’un Mac, bien qu’il lise et écrive des données par blocs de 256 kilo-octets, alors que la taille de bloc par défaut pour le stockage local macOS est de 4096 octets.
Cela signifie que LucidLink n’a pas besoin de synchroniser un fichier dans son intégralité avant de l’ouvrir, comme ce serait le cas pour un fichier en ligne uniquement dans Dropbox, par exemple. Avec de petits fichiers, l’approche de synchronisation fonctionne assez bien, mais avec la taille des fichiers utilisés dans le monde des médias, la récupération d’un fichier dans le cloud prend beaucoup de temps, d’où la nécessité de grands disques externes pour stocker les versions locales.
J’ai longtemps pensé que MacFUSE était un moyen brillant d’intégrer des systèmes de fichiers inhabituels dans l’expérience Mac, alors j’ai compris ce que faisait LucidLink. Cependant, j’ai immédiatement demandé à Niedzielski de quelle bande passante LucidLink avait besoin, m’attendant à ce qu’il admette qu’une connexion par fibre optique de 1 Gbit/s était nécessaire et que les professionnels de la vidéo sérieux avaient tous une telle connectivité.
Au lieu de cela, il a dit que 50 Mbps vers le bas et 10 Mbps up était un minimum réaliste pour un travail non vidéo. Dans un monde vidéo idéal, il a noté que vous voudriez faire correspondre la bande passante de votre flux vidéo pour un comportement transparent. Je ne pense pas à la vidéo en termes de bande passante, mais je soupçonne que plus vous en avez, mieux c’est-cette connexion par fibre pourrait être une bonne idée. Un examen pratique a déclaré que LucidLink fonctionnait bien avec 230 Mbps vers le bas, bien que ce soit apparemment dans un scénario de flux de travail proxy, où la plupart des modifications impliquaient des fichiers proxy plus petits. Une faible latence est également importante, et l’interface de LucidLink en fait état (voir également”Utiliser l’outil de qualité réseau d’Apple pour tester la réactivité Internet”, 22 avril 2022).
Même si la bande passante est importante, toute personne utilisant Dropbox ou un service similaire devra stocker toutes ces données localement de toute façon. LucidLink s’appuie également sur un cache local rapide pour améliorer les performances. Il est par défaut de 5 Go sur le disque interne, mais vous pouvez le rediriger vers un disque externe et l’augmenter à 10 To. De plus, si vous savez que vous allez travailler sur certains fichiers, vous pouvez les”épingler”pour les précharger dans le cache local. Même avec des fichiers épinglés, LucidLink ne télécharge que des données différentes au niveau du bloc, il n’a donc pas à transférer des fichiers entiers pour de petites modifications.
L’un des inconvénients de l’approche de LucidLink est que vous ne pouvez pas travailler hors ligne, même avec fichiers épinglés. Parce qu’il dispose d’une source unique de vérité dans le cloud, les utilisateurs doivent maintenir une connectivité Internet pour que le service fonctionne. Le cache local n’est que cela, un cache, pas une copie indépendante des fichiers.
L’approche de mise en cache de LucidLink présente un autre inconvénient. Certains utilisateurs de Dropbox voient l’architecture « synchroniser et partager » comme une sauvegarde. Ce n’est pas le cas, bien sûr, car tout utilisateur disposant des autorisations appropriées peut supprimer des fichiers par inadvertance ou par malveillance, mais vous vous retrouvez avec plusieurs copies dans la plupart des situations. Le cache local de LucidLink ne fournit même pas cela.
Cependant, le système de fichiers Filespace de LucidLink propose des instantanés automatiques, tout comme APFS. (Certains plans LucidLink vous permettent de créer des calendriers d’instantanés personnalisés.) Les instantanés enregistrent l’état exact de vos fichiers à ce moment précis, ce qui facilite la récupération des fichiers supprimés, corrompus ou modifiés. Ils utilisent efficacement l’espace, enregistrant uniquement les données au niveau du bloc qui ont changé entre deux instantanés. Mieux encore, les instantanés sont en lecture seule, ils fournissent donc également une défense contre les attaques de ransomwares qui tentent de détruire les sauvegardes.
Néanmoins, LucidLink encourage les sauvegardes. Niedzielski a déclaré que la société considère LucidLink comme un”espace de collaboration actif à chaud”et recommande aux utilisateurs de conserver une copie séparée de tous les fichiers. Cela peut être sur un périphérique NAS local ou dans le cloud vers un service comme Backblaze B2 ou Wasabi. Il a également mentionné que certains clients s’appuient sur un service de gestion de données appelé CloudSoda pour migrer et protéger leurs données LucidLink. capacités ici.
Il ne fait aucun doute que LucidLink est destiné au monde des affaires, qu’il s’agisse de médias, de groupes d’imagerie médicale ou d’équipes de développement de jeux. Même le département américain du Trésor est un client de LucidLink. Et si vous hésitez à payer 9,99 $ par mois pour 2 To de stockage à partir de Dropbox, Google Drive ou iCloud Drive, LucidLink est exagéré.
Mais ce n’est pas hors de question. Le plan d’espace de fichiers de base de LucidLink coûte 20 USD par téraoctet et par mois pour un maximum de cinq utilisateurs. Les utilisateurs supplémentaires coûtent chacun 10 USD par mois. C’est deux fois plus par mois pour la moitié du stockage avec un service au niveau du consommateur, ce qui est coûteux mais gérable pour un indépendant ou un petit bureau. Le plan Advanced Filespace coûte 80 $ par téraoctet par mois, encore une fois avec cinq utilisateurs, mais utilise le stockage IBM plutôt que le stockage Wasabi pour des performances supérieures, fournit des planifications d’instantanés personnalisées et offre une intégration d’authentification unique.
Ça vaut la peine notant qu’il y a en fait trois parties dans LucidLink : le client LucidLink exécuté sur votre Mac, le service LucidLink qui gère les métadonnées et les instantanés, et le stockage d’objets, qui est tout système de stockage compatible S3 ou Azure. Cela explique le plan Custom Filespace, qui ne coûte que 40 $ par téraoctet par mois, mais vous permet de fournir votre propre stockage. Cependant, le stockage Wasabi et IBM dans les autres plans ne comprend pas de frais de sortie, que la plupart des fournisseurs de stockage en nuage facturent pour récupérer les données. Avec de nombreux accès aux données, les frais de sortie peuvent s’accumuler rapidement et de manière imprévisible.
D’après un du point de vue de la sécurité, LucidLink revendique une approche”zéro connaissance”. Le client LucidLink fournit un chiffrement de bout en bout, seul l’utilisateur détenant les clés de chiffrement. De plus, le service LucidLink ne voit jamais vos données, juste ses métadonnées, et les données du fournisseur de stockage sont chiffrées au repos. Cela semble très bien pensé.
Il n’y a aucune raison de passer à LucidLink à partir de Dropbox, Google Drive ou iCloud Drive si tout ce dont vous avez besoin est un stockage dans le cloud et une collaboration de base. Cependant, si vous repoussez les limites de ces services, en particulier avec le travail audio ou vidéo, LucidLink vaut le détour.
Plus généralement, je me demande s’il y a un rôle plus important pour le stockage en ligne en streaming qui ressemble et se sent comme un stockage local. Les problèmes d’espace libre pourraient appartenir au passé si nos appareils pouvaient accéder à tout moment à des quantités théoriquement illimitées de stockage en ligne. La mise en cache serait toujours utile pour des raisons de performances et peut-être pour éliminer le besoin d’une connectivité constante, mais nous aurions toujours autant de stockage que nous en avions besoin… et nous étions prêts à payer, bien sûr.