La segmentación es muy importante en los sistemas de visión artificial, ya que permite identificar los píxeles en una imagen que pertenecen a un objeto. Esto tiene muchas aplicaciones, como puedan ser el análisis científico de imágenes o la gestión de paquetes. Meta acaba de anunciar el lanzamiento del Segment Anything Model 2 (SAM 2) que permite segmentar objetos en videos e imágenes.
Hemos visto en los últimos meses como las inteligencias artificiales apuntan a la generación de video. Son varios los modelos que han mostrado creaciones realmente espectaculares, aunque ninguno de estos modelos es accesible en la actualidad.
Si estos modelos empiezan a llegar y son accesibles para cualquiera, podríamos enfrentarnos a un problema. La cantidad de bulos y desinformación crecería, pudiendo crear videos realistas que en realidad son falsos. Vemos a diario como, sin estas herramientas, ya que trata de manipular y desinformar, con una IA que genere videos casi perfectos, ¿dónde llegaremos?
Meta anuncia la disponibilidad de su modelo SAM 2
Una de las empresas que más está invirtiendo en inteligencia artificial es Meta, antes conocida como Facebook. La compañía ha anunciado el nuevo Segment Anything Model 2 (SAM 2). Este nuevo modelo se caracteriza por ser más preciso y hasta seis veces más rápido que el modelo SAM original.
La característica más interesante de este modelo es que admite segmentación de objetos en videos y en imágenes. Estas son las principales mejoras de este nuevo modelo SAM 2 con respecto al anterior:
- Mejora la segmentación de video interactivo en 17 conjuntos de datos de video de toma cero y requiere aproximadamente tres veces menos interacciones humanas.
- Es hasta seis veces más rápido en comparativas de cero disparos con 23 conjuntos de datos.
- Supera los estándares de segmentación de objetos en videos ya existentes (DAVIS, MOSE, LVOS, YouTube-VOS)
- Ofrece inferencia en tiempo real a aproximadamente 44 FPS.
- Tiene una anotación de segmentación de vídeo en bloque hasta 8.4 veces más rápida que la anotación manual por cuadro del modelo anterior.
Actualmente, SAM 2 está disponible bajo una licencia de tipo Apache 2.0. Esta licencia permite a cualquiera crear sus propias experiencias basadas en el modelo SAM 2. Meta informa de los siguientes aspectos de su modelo:
- SAM 2 tiene un código bajo una licencia Apache 2.0 que permite el uso por parte de los usuarios.
- El código de evaluación del nuevo modelo de Meta se encuentra bajo una licencia BSD-3.
- Los conjuntos de datos SA-V, que cuentan con una base superior a los 51.000 vídeos del mundo real con más de 600.000 máscaras, tienen una licencia tipo CC BY 4.0.
Meta actualmente permite a los usuarios probar SAM 2 en un formato Demo a cualquier usuario que lo quiera. Para acceder a esta potente herramienta solo tenemos que ir a esta página web y empezar a explorar. Tendremos la capacidad de hacer cortes y agregar efectos a los clips de una manera rápida y sencilla gracias a esta inteligencia artificial.
Las capacidades de SAM 2, de momento, parecen limitadas a agregar diferentes efectos a los vídeos. Podría ser una medida para evitar acciones maliciosas como «Deep Fakes» y otros tipos de vídeos manipuladores que pueda dar pie a desinformación, entre otros.
