Image In Words
Aproveche nuestra tecnología de reconocimiento de imágenes de vanguardia para desbloquear descripciones de imágenes ultradetalladas
.png&w=3840&q=75)
from 99+ happy users
Visor gratuito en línea de conversión de imágenes a descripciones
Intenta seguir el ejemplo de 'imagen a descripción'
¿Qué es Image In Words?
Image In Words es un modelo generativo diseñado para escenarios que requieren la generación de texto ultradetallado a partir de imágenes. Es especialmente adecuado para tareas de reconocimiento de asistentes de modelos de lenguaje grande (LLM) y para utilizar las capacidades de reconocimiento y descripción de IA en escenarios más complejos mediante gpt4o. Solo admite inglés y se ha entrenado utilizando aproximadamente 100,000 horas de datos en inglés. Image In Words ha demostrado alta calidad y naturalidad en varias pruebas.
Características de Image In Words
Descripción de imagen ultra detallada
Utilizando un marco de anotación con participación humana, se asegura que cada descripción de imagen tenga un alto nivel de detalle y precisión, evitando los problemas de descripciones cortas e irrelevantes comunes en los conjuntos de datos existentes.
Mejora significativa del rendimiento del modelo
El modelo de visión por computadora y lenguaje afinado con datos IIW muestra una mejora notable en precisión y coherencia de descripciones, con un rendimiento del modelo mejorado en un 31% en comparación con trabajos anteriores.
Reducción de contenido ficticio
El marco reduce el contenido ficticio en las descripciones mediante técnicas de verificación rigurosas, asegurando que las descripciones reflejen fielmente los detalles de la imagen sin añadir detalles inexistentes.
Legibilidad y exhaustividad
Las descripciones generadas por el marco no solo son detalladas y fáciles de leer, sino que también son comprensibles para un amplio público y aseguran una cobertura completa de todos los aspectos relevantes del contenido visual.
Mejora de las capacidades de razonamiento visual-lingüístico
Mediante el uso de modelos entrenados con datos IIW, la capacidad de razonamiento visual-lingüístico se mejora significativamente, permitiendo una mejor comprensión e interpretación del contenido visual y la generación de descripciones más precisas y significativas.
Aplicaciones amplias
El marco IIW ha demostrado un rendimiento sobresaliente en múltiples aplicaciones prácticas, incluyendo la mejora de la accesibilidad para usuarios con discapacidades visuales, el enriquecimiento de las funcionalidades de búsqueda de imágenes y una revisión de contenido más precisa, mostrando su gran potencial en diversos campos.
Descargar datos
Hemos publicado versiones enriquecidas de los conjuntos de datos IIW-Benchmark Eval, descripciones escritas manualmente por IIW (anotaciones a nivel de imagen y objeto) y comparaciones con trabajos anteriores (DCI, DOCCI), así como versiones enriquecidas de los conjuntos de datos generados por máquinas LocNar y XM3600 como código abierto. Las estadísticas a continuación reflejan la riqueza de los datos (por ejemplo, un aumento significativo en la longitud y la riqueza de cada categoría gramatical).
Los conjuntos de datos se publican bajo la licencia CC-BY-4.0 y se pueden encontrar en GitHub y descargarse desde Hugging Face en formato 'jsonl'.
Para toda la información sobre IIW, consulte las páginas web, proyectos, descargas de datos, visualizaciones y más.
BibTeX
@misc{garg2024imageinwords,
title={ImageInWords: Unlocking Hyper-Detailed Image Descriptions},
author={Roopal Garg and Andrea Burns and Burcu Karagol Ayan and Yonatan Bitton and Ceslee Montgomery and Yasumasa Onoe and Andrew Bunner and Ranjay Krishna and Jason Baldridge and Radu Soricut},
year={2024},
eprint={2405.02793},
archivePrefix={arXiv},
primaryClass={cs.CV}
}