Cómo MASV facilita los flujos de trabajo de IA (y reduce el tiempo de comercialización) en S3

por | 6/11/2024

Los flujos de trabajo de inteligencia artificial (IA) de todo tipo suelen requerir grandes cantidades de datos -a menudo no estructurados, como vídeos e imágenes- para entrenar adecuadamente los modelos y generar perspectivas precisas. Pero llevar todos esos datos a un cubo en la nube u otro tipo de almacenamiento, para poder ejecutar flujos de trabajo de IA con ellos, puede ser todo un reto:

  • Añadir grandes conjuntos de datos a Amazon S3, por ejemplo, puede ser un proceso técnico que implique una carga multiparte utilizando una herramienta de interfaz de línea de comandos (CLI).
  • Subir de forma nativa grandes conjuntos de datos a S3 suele ser lento y poco fiable.

Estos problemas pueden afectar significativamente al tiempo de comercialización de las empresas de IA que esperan obtener una ventaja competitiva.

Sin embargo, MASV simplifica la ingestión de datos para el procesamiento de la IA, reduciendo el tiempo de comercialización de las empresas de IA para monetizar y hacer operativos los modelos de IA.-incluido Twelve Labs, que junto con MASV presentó recientemente un flujo de trabajo de IA personalizado utilizando el almacenamiento de objetos S3.

Nota: Este flujo de trabajo fue presentado por el CTO de MASV Majed Alhajry y el Jefe de Crecimiento de Twelve Labs Maninder Saini en IBC 2024. Aquí tienes un enlace al vídeo de su presentación.

Índice de contenidos

Ingesta fácil de grandes conjuntos de datos para cargas de trabajo de IA

Disfruta de una transferencia segura, fiable y rápida de archivos de vídeo masivos de 4K, 8K o 12K y otros grandes conjuntos de datos con MASV.

¿Qué pueden hacer los flujos de trabajo de IA por el vídeo?

A estas alturas, explicar todas las ventajas de las herramientas de IA en la producción de vídeo y otras aplicaciones puede ser una pérdida de tiempo: la mayoría de nosotros ya hemos oído mucho de esto antes. Pero la tecnología avanza tan rápido que lo explicaré de todos modos. Cuando se trata de producciones de vídeo, la IA puede:

  • Realiza análisis complejo sobre secuencias para generar transcripciones, etiquetado y otros contextos, como la comprensión y búsqueda de vídeos de Twelve Labs.
  • Genera vídeos originales realistas, como Heygenque puede producir vídeo con calidad de estudio en más de 170 idiomas utilizando IA generativa.
  • Realiza la conversión de texto a voz, limpieza de audioy el doblaje basado en IA a otros idiomas, como el que ofrecen empresas como ElevenLabs.
  • Acelera postproducción y tareas repetitivas utilizando automatización de IA, como Izotope Neuron para la mezcla de audio y Runway para el enmascaramiento.
  • Tampoco se trata sólo de la producción profesional de vídeo: Empresas como Spatialdata.ai utilizan datos de sensores ópticos y aprendizaje automático para evaluar mejor la salud y el riesgo de los activos críticos.

Pero al fin y al cabo, todas estas aplicaciones se enfrentan a un reto similar: Reunir cantidades masivas de datos y almacenarlos para la automatización de la IA, el entrenamiento de modelos y la ejecución.

El reto oculto de los flujos de trabajo de la IA: La ingesta de datos

"Tengo el modelo; sólo necesito introducir los datos en el modelo".

Suena sencillo, ¿verdad? Pero, ¿cuántas veces ha oído lo anterior alguien que trabaje habitualmente con algoritmos complejos de IA o los desarrolle?

La respuesta: Mucha. Esto se debe a que uno de los mayores retos de trabajar con IA sigue siendo reunir las cantidades masivas de datos necesarias para entrenar y ejecutar estos modelos en un solo lugar, como un cubo de S3.

  • Subir grandes conjuntos de datos a S3 suele ser un proceso que lleva mucho tiempo, se ve dificultado por las estrictas limitaciones de tamaño de los archivos y a menudo requiere conocimientos técnicos, como la subida multiparte mediante CLI.
  • Muchas aplicaciones de terceros diseñadas para llevar datos a la nube, como Cyberduck, se basan en la tecnología protocolo de transferencia de archivos (FTP), que también es mucho más técnico que la transferencia gestionada de archivos, además de lento e inseguro.
Imagen de marcador de posición

Para ejecutar cargas de trabajo de IA y trabajos similares que requieran computación en la nube, los usuarios necesitan obtener datos de la parte derecha del diagrama anterior (máquinas, personas y aplicaciones) en servicios proporcionados por proveedores de servicios en la nube a la izquierda.

Esto plantea retos inherentes en cuanto a las cuentas que deben crearse, las claves que deben generarse y el acceso que debe gestionarse para múltiples usuarios, además de los problemas de rendimiento, fiabilidad y seguridad mencionados anteriormente.

Pero poner MASV en medio de este flujo de trabajo proporciona un único punto de acceso a todos estos servicios desde todas tus personas, aplicaciones y máquinas.

Y éste es el quid de la conversación: ¿Cómo permiten las empresas de IA a sus usuarios llevar grandes conjuntos de datos al almacenamiento en la nube de forma rápida, segura y sin encontrarse con problemas técnicos, para que puedan ejecutar algoritmos de IA e IA generativa en los datos sin retrasos agotadores?

El flujo de trabajo del modelo MASV-S3-Twelve Labs

La sencilla pero potente tecnología de transferencia de archivos de MASV ayuda a resolver este problema, razón por la cual otras empresas de IA como ElevenLabs, DatosEspaciales.ai, y HeyGen también utilizan MASV para llevar los datos a la nube.

Esta automatización del flujo de trabajo con IA puede ahorrar órdenes de magnitud de tiempo y frustración, y eliminar importantes fricciones de tus usuarios al subir grandes conjuntos de datos al almacenamiento en la nube.

💡 Nota: Este flujo de trabajo puede reproducirse con otras herramientas de IA que tengan una API y otras plataformas de almacenamiento en la nube integradas con MASV. Puedes consultar la lista completa de integraciones de MASV aquí.

Herramientas utilizadas

  • Portales MASV. Poner en marcha un sistema basado en la web y personalizable portal MASV no requiere la instalación de software ni plug-ins, proporciona una aceleración global de la transferencia de archivos y una fiabilidad implacable, y también puede ayudar a agilizar la cuestión de llevar los datos rápidamente a la nube para ejecutar cargas de trabajo de IA.
  • Integraciones y automatizaciones MASV. Integraciones sin código y automatizaciones de transferencia de archivos puede configurarse en minutos para ingerir automáticamente archivos en el almacenamiento en la nube, algo así como una herramienta de automatización del flujo de trabajo de IA.
  • Amazon S3. Un servicio de almacenamiento de objetos en la nube altamente escalable que ofrece alta disponibilidad y rendimiento, y que utilizan muchas empresas de IA, junto con AWS Lambda funciones sin servidor.
  • Doce laboratorios comprensión multimodal de vídeo Capacidades de IA. Puede analizar terabytes o petabytes de vídeo para la búsqueda, clasificación y otras funciones de IA, eliminando las tareas repetitivas asociadas a la búsqueda manual.
Imagen de marcador de posición

Aquí tienes una guía paso a paso de nuestro flujo de trabajo automatizado:

  1. Regístrate para obtener una cuenta MASV. Es gratis.
  2. Conecta S3 a tu cuenta mediante integraciones sin código MASV.
  3. Configura un Portal MASV personalizado o instantáneo: Configura el nombre de tu Portal, los ajustes de notificación y configura un descarga automatizada del Portal a tu almacenamiento integrado en la nube.
    1. También puedes automatizar la subida de archivos a tu Portal MASV a través de las Carpetas de Vigilancia MASV.
    2. También puedes configurar flujos de trabajo de subida de archivos personalizados mediante el Agente de Transferencia MASV o la API, pero eso está fuera del alcance de este artículo.
  4. Crear una función Lambda que utiliza la API de Twelve Labs, y se activa al crear un objeto en tu almacenamiento en la nube.

Ya estás preparado para subir archivos a tu Portal MASV:

  1. Arrastra y suelta tus archivos para subirlos al Portal MASV.
  2. La automatización MASV preconfigurada enviará entonces automáticamente los archivos a tu cubo S3. Puedes subir archivos de hasta 5 TB a S3 utilizando MASV. ¡Tranquilo!
  3. A continuación, se activa la función Lambda, que genera una carga útil JSON, que luego llama a la API de Twelve Labs.
  4. Twelve Labs comienza a indexar tus archivos utilizando IA de comprensión de vídeo, lo que te permite ejecutar IA u otras cargas de trabajo informáticas de alto rendimiento en los archivos en la nube.

La salida

A partir de ahí, puedes utilizar la tecnología de IA de Twelve Labs para realizar una serie de acciones, como la búsqueda semántica en lugar de la búsqueda manual y el etiquetado.

  • Los usuarios pueden pedir al sistema que cree un vídeo con todos los goles de un determinado jugador o equipo a partir de cientos o miles de horas de metraje, por ejemplo, o que encuentre los momentos narrativos más importantes para los aficionados.
  • O puedes pedir al sistema que separe los videoclips largos en capítulos para organizarlos mejor.
Imagen de marcador de posición

MASV: La solución ideal para ingerir Big Data en S3 para cargas de trabajo de IA

MASVplataforma de transferencia de archivos grandes basada en la nube facilita a los usuarios la carga sin esfuerzo de archivos de gran tamaño en S3 para flujos de trabajo de IA, acelerando el tiempo de comercialización de las empresas de IA en un sector hipercompetitivo (y en rápida evolución).

MASV proporciona todas las herramientas y capacidades para potenciar las manos libres en la nube, on-prem o nube híbrida flujos de trabajo de carga y gestión de archivos al facilitar la transferencia de grandes activos multimedia con:

  • Un cargador simplificado, basado en web, sin plugins, fiable y universal, listo para usar y totalmente personalizable.
Imagen de marcador de posición
  • Un conjunto de herramientas de automatización de transferencia de archivos sin código.
  • Documentación para desarrolladores y herramientas, incluida la API de MASV e integraciones en la nube/en red on-prem que te permiten crear sofisticados flujos de trabajo automatizados, como enviar archivos a los buckets de la nube sin fricciones para tus usuarios finales.
  • Rendimiento inigualable en la transferencia de archivos que puede seguir el ritmo de tuberías optimizadas de hasta 10 Gbps.
  • Fiabilidad implacable en la transferencia de archivos: MASV se recupera de la inestabilidad de la red y reintenta automáticamente todas las transferencias, incluso en caso de caídas de la red, hasta que se completan.
  • No hay límites de tamaño en las subidas de paquetes de archivos.
  • Herramientas de seguridad de nivel empresarial y el cumplimiento de las principales normativas sobre privacidad de datos desde el primer momento.

Regístrate en MASV hoy y obtén créditos de transferencia gratis cada mes para probar este flujo de trabajo automatizado de IA (o cualquier otro flujo de trabajo de transferencia de archivos que tenga sentido para tu negocio).

Comparte archivos sin limitaciones

¿Archivos grandes? No te preocupes. MASV no tiene límites en los paquetes de archivos y gestiona paquetes de archivos de tamaño ilimitado.