Comment MASV facilite les flux de travail en IA (et réduit les délais de mise sur le marché) sur S3

par | 6 novembre 2024

Les flux de travail d'intelligence artificielle (IA) de toutes sortes nécessitent généralement des quantités massives de données - souvent des données non structurées telles que des vidéos et des images - pour entraîner correctement les modèles et générer des informations précises. Mais il peut s'avérer difficile d'obtenir toutes ces données dans une corbeille en nuage ou dans un autre type de stockage, afin de pouvoir exécuter des flux de travail d'intelligence artificielle :

  • L'ajout de grands ensembles de données à Amazon S3, par exemple, peut être un processus technique impliquant un téléchargement en plusieurs parties à l'aide d'un outil d'interface de ligne de commande (CLI).
  • Le téléchargement natif de grands ensembles de données vers S3 est souvent lent et peu fiable.

Ces problèmes peuvent avoir un impact significatif sur le délai de mise sur le marché pour les entreprises d'IA qui espèrent bénéficier d'un avantage concurrentiel.

MASV, cependant, simplifie l'ingestion de données pour le traitement de l'IA, réduisant le temps de mise sur le marché pour les entreprises d'IA afin de monétiser et d'opérationnaliser les modèles d'IA-y compris Twelve Labs, qui a récemment présenté, aux côtés de MASV, un flux de travail d'IA personnalisé utilisant le stockage d'objets S3.

Note: Ce flux de travail a été présenté par MASV CTO Majed Alhajry et Twelve Labs Head of Growth Maninder Saini à IBC 2024. Voici un lien à la vidéo de leur présentation.

Table des matières

Ingérer facilement de grands ensembles de données pour les charges de travail d'IA

Avec MASV, vous bénéficiez d'un transfert sécurisé, fiable et rapide de fichiers vidéo massifs 4K, 8K ou 12K et d'autres ensembles de données volumineux.

Que peuvent faire les flux de travail de l'IA pour la vidéo ?

À ce stade, expliquer tous les avantages des outils d'IA dans la production vidéo et d'autres applications est peut-être une perte de temps - la plupart d'entre nous en ont déjà entendu parler. Mais la technologie évolue si vite que je vais quand même l'expliquer. En ce qui concerne les productions vidéo, l'IA peut.. :

  • Exécuter analyse complexe sur les séquences pour générer des transcriptions, des étiquettes et d'autres contextes, tels que la compréhension et la recherche vidéo de Twelve Labs.
  • Générer des vidéos originales réalistes, telles que Heygenqui peut produire des vidéos de qualité studio dans plus de 170 langues grâce à l'IA générative.
  • Effectuer la synthèse vocale, nettoyage audioet le doublage dans d'autres langues basé sur l'IA, comme celui proposé par des sociétés telles que ElevenLabs.
  • Accélérer post-production et tâches répétitives l'utilisation de l'automatisation de l'IA, comme Izotope Neuron pour le mixage audio et Runway pour le masquage.
  • Il ne s'agit pas seulement de production vidéo professionnelle : Des entreprises comme Spatialdata.ai utiliser les données des capteurs optiques et l'apprentissage automatique pour mieux évaluer la santé et les risques des actifs critiques.

Mais en fin de compte, toutes ces applications sont confrontées à un défi similaire : Recueillir des quantités massives de données et les stocker en vue de l'automatisation de l'IA, de l'entraînement des modèles et de l'exécution.

Le défi caché des flux de travail de l'IA : L'ingestion de données

"J'ai le modèle, il faut juste que les données entrent dans le modèle.

Cela semble simple, n'est-ce pas ? Mais combien de fois quelqu'un qui travaille régulièrement avec des algorithmes d'IA complexes ou qui les développe a-t-il entendu ce qui précède ?

La réponse : Beaucoup. En effet, l'un des principaux défis liés à l'utilisation de l'IA consiste à rassembler les énormes quantités de données nécessaires à l'entraînement et à l'exécution de ces modèles en un seul endroit, tel qu'un panier S3.

  • Le téléchargement de grands ensembles de données vers S3 est généralement un processus qui prend du temps, qui est entravé par des limitations strictes de la taille des fichiers et qui nécessite souvent une expertise technique, comme le téléchargement en plusieurs parties via CLI.
  • De nombreuses applications tierces conçues pour transférer des données vers le nuage, comme Cyberduck, sont basées sur le système de gestion des données de l'entreprise. protocole de transfert de fichiers (FTP), qui est également beaucoup plus technique que le transfert de fichiers géré, en plus d'être lent et peu sûr.
Image de remplacement

Pour exécuter des charges de travail d'IA et des tâches similaires nécessitant un calcul en nuage, les utilisateurs doivent obtenir des données du côté droit du diagramme ci-dessus (machines, personnes et applications) dans les services fournis par les fournisseurs de services en nuage sur la gauche.

Cela pose des problèmes en termes de comptes à créer, de clés à générer et d'accès à gérer pour plusieurs utilisateurs, sans compter les problèmes de performance, de fiabilité et de sécurité mentionnés plus haut.

Mais en plaçant MASV au milieu de ce flux de travail, on obtient un point d'accès unique à tous ces services à partir de toutes les personnes, applications et machines.

Et c'est là le cœur de la conversation : Comment les entreprises spécialisées dans l'IA peuvent-elles permettre à leurs utilisateurs d'obtenir des ensembles de données volumineux dans le stockage en nuage rapidement, en toute sécurité et sans rencontrer de problèmes techniques, afin qu'ils puissent exécuter des algorithmes d'IA et d'IA générative sur les données sans retards rédhibitoires ?

Le flux de travail du modèle MASV-S3-Twelve Labs

La technologie de transfert de fichiers de MASV, à la fois simple et puissante, permet de résoudre ce problème. C'est pourquoi d'autres entreprises d'IA, telles que ElevenLabs, SpatialData.aiet HeyGen utilisent également MASV pour transférer les données vers le nuage.

L'automatisation du flux de travail par l'IA peut faire gagner un temps considérable à vos utilisateurs et leur éviter de se sentir frustrés lorsqu'ils téléchargent des ensembles de données volumineux vers le stockage en nuage.

💡 Note: Ce flux de travail peut être reproduit avec d'autres outils d'intelligence artificielle disposant d'une API et d'autres plateformes de stockage en nuage intégrées à MASV. La liste complète des intégrations MASV peut être consultée à l'adresse suivante ici.

Outils utilisés

  • Portails MASV. La création d'une application web personnalisable Portail MASV ne nécessite pas l'installation d'un logiciel ou d'un plugin, offre une accélération globale du transfert de fichiers et une fiabilité sans faille - et peut également contribuer à accélérer le transfert des données dans le nuage pour exécuter des charges de travail d'IA.
  • Intégrations et automatisations MASV. Intégrations sans code et automatisation des transferts de fichiers peut être configuré en quelques minutes pour ingérer automatiquement des fichiers dans le stockage en nuage, un peu comme un outil d'automatisation du flux de travail de l'IA.
  • Amazon S3. Un service de stockage d'objets dans le nuage hautement évolutif offrant une disponibilité et des performances élevées, qui est utilisé par de nombreuses entreprises d'IA, avec AWS Lambda les fonctions sans serveur.
  • Douze laboratoires compréhension multimodale de la vidéo Capacités d'IA. Peut analyser des téraoctets ou des pétaoctets de vidéo pour la recherche IA, la classification et d'autres fonctions, éliminant ainsi les tâches répétitives associées à la recherche manuelle.
Image de remplacement

Voici un guide étape par étape de notre flux de travail automatisé:

  1. S'inscrire pour obtenir un compte MASV. C'est gratuit.
  2. Connectez S3 à votre compte via les intégrations MASV sans code.
  3. Créez un portail MASV personnalisé ou instantané : Configurez le nom de votre portail, les paramètres de notification, et mettez en place un système d'alerte. Téléchargement du portail automatisé vers votre espace de stockage en nuage intégré.
    1. Vous pouvez également automatiser le téléchargement de fichiers vers votre portail MASV par l'intermédiaire des dossiers de surveillance MASV.
    2. Vous pouvez également mettre en place des flux de téléchargement de fichiers personnalisés via l'agent de transfert MASV ou l'API, mais cela dépasse le cadre de cet article.
  4. Créer une fonction Lambda qui utilise l'API de Twelve Labs et se déclenche lors de la création d'un objet dans votre espace de stockage en nuage.

Vous êtes maintenant prêt à télécharger des fichiers sur votre portail MASV :

  1. Glissez-déposez vos fichiers pour les télécharger sur le portail MASV.
  2. L'automatisation MASV préconfigurée enverra alors automatiquement les fichiers vers votre panier S3. Vous pouvez télécharger des fichiers d'une taille allant jusqu'à 5 To sur S3 à l'aide de MASV. Facile !
  3. La fonction Lambda est alors déclenchée, ce qui génère une charge utile JSON, qui appelle ensuite l'API Twelve Labs.
  4. Twelve Labs commence à indexer vos fichiers en utilisant l'IA de compréhension vidéo, ce qui vous permet d'exécuter l'IA ou d'autres charges de travail de calcul à haute performance sur les fichiers dans le nuage.

La sortie

À partir de là, vous pouvez utiliser la technologie d'intelligence artificielle de Twelve Labs pour effectuer une série d'actions, telles que la recherche sémantique au lieu de la recherche manuelle et le marquage.

  • Les utilisateurs peuvent demander au système de créer une vidéo de tous les buts d'un joueur ou d'une équipe à partir de centaines ou de milliers d'heures d'images, par exemple, ou de trouver les moments narratifs les plus importants pour les fans.
  • Vous pouvez également demander au système de séparer les longs clips vidéo en chapitres pour une meilleure organisation.
Image de remplacement

MASV : la solution idéale pour ingérer des Big Data vers S3 pour les charges de travail d'IA

MASVLa plateforme de transfert de fichiers volumineux basée sur l'informatique dématérialisée permet aux utilisateurs de télécharger facilement des fichiers volumineux vers S3 pour les flux de travail d'IA, ce qui accélère la mise sur le marché pour les entreprises d'IA dans un secteur hyperconcurrentiel (et en évolution rapide).

MASV fournit tous les outils et toutes les capacités nécessaires à la mise en œuvre d'un système d'information en nuage (cloud), sur site, ou d'un système d'information en ligne. nuage hybride et de gestion des fichiers en facilitant le transfert de ressources multimédias volumineuses :

  • Un téléchargeur simplifié, basé sur le web, sans plugin, fiable et universel, clé en main et entièrement personnalisable.
Image de remplacement
  • Une suite d'outils d'automatisation du transfert de fichiers sans code.
  • Documentation pour les développeurs et des outils, y compris le API MASV et des intégrations cloud/réseau sur site qui vous permettent d'élaborer des flux de travail automatisés sophistiqués, comme la livraison de fichiers aux nuages sans friction pour vos utilisateurs finaux.
  • Des performances de transfert de fichiers inégalées, capables de suivre des tuyaux optimisés jusqu'à 10 Gbps.
  • Fiabilité sans faille des transferts de fichiers : MASV s'adapte à l'instabilité du réseau et relance automatiquement tous les transferts, même en cas de panne du réseau, jusqu'à ce qu'ils soient terminés.
  • Aucune limite de taille de fichier pour les téléchargements de paquets de fichiers.
  • Outils de sécurité de niveau entreprise et la conformité avec les principales réglementations en matière de confidentialité des données.

S'inscrire à MASV aujourd'hui et recevez des crédits de transfert gratuits chaque mois pour essayer ce flux de travail automatisé (ou tout autre flux de travail automatisé). flux de transfert de fichiers qui a du sens pour votre entreprise).

Transférez des fichiers sans aucune limite

Des fichiers volumineux ? Pas de souci. MASV n'a pas de limites en ce qui concerne les paquets de fichiers et les manipulations des paquets de fichiers de taille illimitée.