MASV x Qumulo : Transformer l'ingestion de données et les flux de travail haute performance

Gérer l'ingestion de gros volumes de données est difficile, mais le faire rapidement et efficacement est une toute autre montagne à gravir. Les professionnels du M&E et les Chercheurs en IA Je ne connais que trop bien ce problème : Comment ingérer et déplacer des ensembles massifs de données rapidement et en toute sécurité sans se heurter à des goulets d'étranglement qui font perdre du temps ?

C'est pourquoi MASV et Qumulo ont uni leurs forces : Créer un pipeline d'ingestion et d'accès aux données très performant. La combinaison des puissantes capacités de transfert de fichiers de MASV avec le système de fichiers évolutif et performant de Qumulo fournit un pipeline efficace pour l'ingestion et l'accès à des téraoctets de données non structurées.

Voyons comment fonctionne cette intégration, quels sont ses avantages concrets et pourquoi elle est indispensable pour les flux de travail impliquant la production de médias à grande échelle et les projets d'IA basés sur les données.

• MASV x Qumulo : Scale Anywhere, Ingest Anywhere
• Démarrer avec MASV et Qumulo sur AWS
• Fonctionnalités clés pour les flux de données modernes
• MASV x Qumulo : L'envoyer, le stocker, le mettre à l'échelle

MASV x Qumulo : Scale Anywhere, Ingest Anywhere

Pour les professionnels du M&E et de l'IA, les données ne sont pas seulement un sous-produit du travail - c'est le travail lui-même. Que vous traitiez des rushes de films en 8K, de vastes ensembles de données d'entraînement à l'IA ou des séquences VFX complexes, la capacité d'ingérer et de mettre à l'échelle les données de manière transparente détermine la rapidité avec laquelle vous pouvez produire des résultats.

• Les flux de travail traditionnels sur site peinent à suivre le rythme de l'échelle et de la vitesse requises pour la création de contenu moderne et l'apprentissage automatique.
• Cela oblige les équipes à lutter contre la lenteur des téléchargements, les goulets d'étranglement du stockage et la rigidité de l'infrastructure, tout en faisant la course contre la montre pour respecter des délais imminents.

MASV et Qumulo CNQ sur AWS redéfinissent les flux de travail en nuage, en donnant aux utilisateurs la possibilité de ingérer des données volumineuses à partir de n'importe quel endroit avec MASV et évoluer partout avec Qumulo CNQ.

Ingérer des volumes de données importants avec MASV

MASV est conçu pour être simple, fiable et rapide dès sa sortie de l'emballage et peut traiter de manière fiable des fichiers volumineux de pratiquement n'importe quelle taille.

• Pour les chercheurs en intelligence artificielle, cela signifie que des téraoctets de données d'entraînement peuvent être téléchargés sans interruption, même à partir de réseaux instables. MASV veille à ce que ces ensembles de données soient téléchargés en toute sécurité et atterrissent exactement là où ils doivent aller.
• Pour les professionnels du suivi et de l'évaluation, cela signifie Les équipes de production peuvent ingérer les fichiers originaux des caméras et traiter les rushes dans le nuage instantanément. Un accès plus rapide permet de faire plus de choses. Les monteurs et les équipes d'effets visuels peuvent même combiner Multiconnect avec la fonction Growing Files de MASV pour commencer à travailler avant que le dernier camion ne sorte du studio.

Comme MASV est basé sur un navigateur, il ne nécessite pas d'installation ou d'autres problèmes informatiques - il suffit de saisir vos fichiers et de commencer à les télécharger. Ses fonctions de reprise automatique et de redémarrage au point de contrôle garantissent que les téléchargements reprennent là où ils se sont arrêtés, même si votre connexion est interrompue. La technologie d'accélération de MASV utilise autant de bande passante que vous l'autorisez, sans gêner les autres utilisateurs du réseau.

Les clients peuvent également s'engager MASV Multiconnect dans l'application MASV Desktop afin d'améliorer la vitesse et la fiabilité des transferts depuis pratiquement n'importe quel endroit de la planète.

Au lieu de s'appuyer sur une seule connexion réseau, Multiconnect relie plusieurs sources Internet (Ethernet, Wi-Fi et même données mobiles) pour créer un pipeline de transfert de fichiers à large bande passante et tolérant aux pannes, ce qui permet des téléchargements plus rapides et plus fiables, même à partir d'endroits où la connectivité est médiocre.

Une fondation "cloud-first" avec Qumulo CNQ

Une fois les données téléchargées, elles doivent être accessibles, évolutives et performantes, et c'est là que Qumulo CNQ sur AWS intervient.

Contrairement aux solutions de stockage traditionnelles qui nécessitent une mise à l'échelle du matériel et une planification manuelle de la capacité, Qumulo CNQ est conçu pour évoluer dynamiquement avec votre charge de travail, qu'il s'agisse de milliers de lectures simultanées de modèles d'IA ou de la diffusion en continu de plaques VFX 8K vers des stations de travail en nuage en temps réel.

Pourquoi Qumulo CNQ est conçu pour les flux de travail en nuage :

• Extension élastique du stockage: Passez instantanément de téraoctets à pétaoctets sans baisse de performance ni migration de stockage.
• Système de fichiers haute performance: Contrairement au stockage objet, Qumulo CNQ offre un accès à faible latence et à haut débit, ce qui est essentiel pour l'entraînement des modèles d'IA et le traitement des médias en temps réel.
• Accessibilité globale: Les stations de travail situées partout dans le monde peuvent diffuser, éditer et analyser directement à partir de Qumulo CNQ, sans avoir besoin de synchroniser ou de télécharger des fichiers volumineux.
• Gestion automatisée des données: La hiérarchisation intelligente vous permet de déplacer des données entre des systèmes de stockage haute performance et des systèmes d'archivage. niveaux d'archivage S3 de manière transparente, en optimisant les coûts sans sacrifier l'accessibilité.

Les équipes d'IA peuvent former des modèles d'apprentissage profond sans se soucier des limites de stockage grâce à l'architecture cloud-native de Qumulo CNQ. Dans le même temps, les maisons de production M&E peuvent ingérer, éditer et distribuer du contenu entièrement dans le cloud, réduisant ainsi les coûts d'infrastructure et accélérant la livraison.

MASV x Qumulo : Un flux de travail unifié dans le nuage

L'ingestion ultra-rapide et native dans le nuage de MASV, combinée au stockage instantanément évolutif de Qumulo CNQ, permet un véritable flux de travail "cloud-first" :

• Les équipes d'IA peuvent continuellement ingérer de nouveaux ensembles de données et commencer immédiatement l'analyse ou la formation.
• Les studios VFX peuvent adapter dynamiquement les charges de travail de rendu et de composition sans avoir à attendre des transferts de fichiers trop lents.
• Les équipes de production média peuvent partager en toute transparence des ressources entre équipes internationales, du tournage à la livraison finale.

Avec MASV, vos fichiers arrivent plus rapidement. Avec Qumulo CNQ, vos données évoluent instantanément. Pas de goulots d'étranglement, pas de perte de temps, mais des flux de travail performants, conçus pour l'avenir.

Démarrer avec MASV et Qumulo sur AWS

Pour commencer à utiliser MASV et Qumulo, il suffit de s'inscrire à MASV, de créer votre compte et de le relier à votre espace de stockage Qumulo CNQ :

Étape 1 : Collecte d'informations

Avant de commencer, préparez les informations suivantes :

• Nom du godet Qumulo: L'emplacement de stockage dans Qumulo où vous souhaitez que les fichiers soient livrés. Voir Documentation Qumulo pour les instructions d'installation.
• ID et secret de la clé d'accès: Informations d'identification pour s'authentifier auprès de Qumulo. Se référer à la documentation de Qumulo.
• Adresse du point final: L'adresse de votre cluster Qumulo ou de votre tableau de bord.
• Chemin d'accès au fichier cible: Répertoire dans le seau où les fichiers doivent être stockés.

Étape 2 : Connecter MASV à Qumulo

1. Connectez-vous à la MASV Web App en tant que propriétaire ou administrateur d'une équipe.
2. Naviguez vers Intégrations dans la barre latérale gauche.
3. Sélectionnez l'option Intégrations disponibles et choisissez Qumulo sur S3.
4. Remplir les champs du formulaire Ajouter l'intégration fenêtre :
   1. Nom de la connexion: Créez un nom descriptif pour votre intégration.
   2. Seau: Saisissez le nom du seau Qumulo.
   3. ID de la clé d'accès: Collez votre ID de clé d'accès Qumulo.
   4. Clé d'accès secrète: Collez votre secret Qumulo.
   5. Point final: Saisissez l'adresse du cluster Qumulo.
5. (Facultatif) Définir des configurations supplémentaires :
   1. Répertoire des cibles: Spécifier un chemin relatif pour la livraison du fichier. Il peut être modifié ultérieurement dans l'application Web MASV.
   2. Options du dossier parent: Ne pas cocher la case pour enregistrer les fichiers en utilisant le nom du paquet comme répertoire. Cochez la case pour livrer les fichiers directement dans le répertoire cible.
6. Cliquez sur Connecter pour enregistrer l'intégration.

Étape 3 : Actualiser et tester

• Actualisez la page des intégrations pour mettre à jour et vérifier l'état de la connexion.
• Exécutez un petit test de téléchargement à l'aide de MASV pour vous assurer que les fichiers se trouvent dans le répertoire Qumulo désigné.

Étape 4 : Relier vos portails MASV
Vous pouvez aller encore plus loin en associant cette intégration à un logiciel de gestion de l'information. Portail MASV pour l'acquisition automatisée de données :

1. Créer ou sélectionner un portail existant dans MASV.
2. Activer l'intégration de Qumulo dans le portail.
3. Partagez le lien du portail avec vos collaborateurs pour des téléchargements automatisés directement vers le stockage Qumulo.

Étape 5 : Commencez à télécharger !

• Utilisez votre portail MASV pour glisser-déposer des fichiers (oui, c'est aussi simple que cela).
• Suivre en temps réel la progression du téléchargement et recevoir des notifications lorsque les fichiers sont livrés.

Fonctionnalités clés pour les flux de données modernes

Voyons plus en détail ce qui rend cette intégration essentielle pour les flux de travail modernes, en particulier pour ceux qui tirent parti d'une infrastructure dans le nuage :

Acquisition efficace des données

Déplacer des données à l'échelle du pétaoctet peut ressembler à déplacer des montagnes : Lent, gourmand en ressources, il n'était jusqu'à présent possible que dans les romans fantastiques. MASV élimine ce goulot d'étranglement grâce à des transferts de fichiers intuitifs et à grande vitesse, garantissant que vos données arrivent là où elles doivent aller sans retard.

Flux de travail optimisés pour les médias

Pour les professionnels de la M&E, la vitesse et la fiabilité de MASV + Qumulo permettent une collaboration transparente entre les équipes. Les monteurs peuvent accéder aux séquences brutes et les monter instantanément, les artistes VFX peuvent commencer à créer et à effectuer des rendus sans délai, et tout le monde peut créer et itérer plus rapidement. Dans un monde où le temps est de l'argent, ce type d'efficacité vaut de l'or.

Stockage évolutif prêt pour l'IA

La formation de modèles d'IA nécessite d'immenses ensembles de données. L'infrastructure évolutive de Qumulo garantit que le stockage sur le cloud évolue avec vos besoins, tandis que MASV garantit que les ensembles de données sont téléchargés rapidement et de manière fiable. Cela élimine les frictions des flux de travail lourds en données, aidant les équipes à rester concentrées sur l'innovation.

Sécurité et conformité au niveau de l'entreprise

Les outils de sécurité et de conformité de MASV, prêts à l'emploi et de qualité professionnelle, comprennent le cryptage TLS et AES-256 des données en vol et au repos. MASV est un membre Gold de la liste des fournisseurs du Trusted Partner Network (TPN) et est conforme aux normes SOC 2 et ISO 27001.