Image In Words
최고의 이미지 인식 기술을 활용하여 초상세 이미지 설명을 해제하십시오
.png&w=3840&q=75)
from 99+ happy users
무료 온라인 이미지 설명 뷰어
‘이미지 설명’ 예제를 따라 시도해보십시오
Image In Words란 무엇입니까?
Image In Words는 이미지에서 초상세 텍스트를 생성해야 하는 장면을 위해 설계된 생성 모델로, 대형 언어 모델(LLM) 도우미의 인식 작업 및 더 복잡한 장면에서의 AI 인식 및 설명 기능에 특히 적합합니다. 영어만 지원하며 약 100,000시간의 영어 데이터를 사용하여 훈련된 Image In Words는 모든 테스트에서 높은 품질과 자연스러움을 보여줍니다.
Image In Words 특징
매우 상세한 이미지 설명
인공 참여 주석 프레임워크를 사용하여 각 이미지 설명이 고도로 상세하고 정확함을 보장하며, 기존 데이터 세트에서 흔히 볼 수 있는 짧고 관련 없는 설명의 문제를 피합니다.
모델 성능의 현저한 향상
IIW 데이터로 미세 조정된 시각-언어 모델이 설명의 정확성과 일관성에서 눈에 띄게 향상되었으며, 모델 성능이 이전 작업보다 31% 향상되었습니다.
허구 내용 감소
프레임워크는 엄격한 검증 기술을 통해 설명의 허구 내용을 줄여, 설명이 이미지의 세부 사항을 실제로 반영하도록 하며 존재하지 않는 세부 사항을 추가하지 않습니다.
가독성 및 포괄성
프레임워크에서 생성된 설명은 상세하고 읽기 쉬울 뿐만 아니라, 광범위한 대중이 이해할 수 있고, 시각적 내용의 모든 관련 측면을 포착하여 포괄적입니다.
시각-언어 추론 능력 강화
IIW 데이터로 훈련된 모델을 사용하여 시각-언어 추론 능력이 현저히 강화되어 시각적 내용을 더 잘 이해하고 해석하며, 더 정확하고 의미 있는 설명을 생성할 수 있습니다.
광범위한 응용
IIW 프레임워크는 다양한 실제 응용 프로그램에서 뛰어난 성능을 보여줍니다. 시각 장애인의 접근성 향상, 이미지 검색 기능 강화 및 보다 정확한 콘텐츠 검토를 포함하여 다양한 분야에서의 잠재력을 보여줍니다.
데이터 다운로드
IIW-Benchmark Eval 데이터 세트, IIW 사람이 작성한 설명(이미지 및 객체 수준 주석) 및 이전 작업(DCI, DOCCI)과의 비교, LocNar 및 XM3600 데이터 세트의 풍부한 버전을 오픈 소스로 공개했습니다. 아래 통계는 데이터의 풍부한 정도(예: 각 품사의 길이와 풍부도가 크게 증가)를 반영합니다.
데이터 세트는 CC-BY-4.0 라이센스로 배포되며 GitHub 에서 찾을 수 있으며 Hugging Face 에서 'jsonl' 형식으로 다운로드할 수 있습니다.
IIW에 대한 모든 자료를 웹, 프로젝트, 데이터 다운로드, 시각화 등을 통해 확인하십시오
BibTeX
@misc{garg2024imageinwords,
title={ImageInWords: Unlocking Hyper-Detailed Image Descriptions},
author={Roopal Garg and Andrea Burns and Burcu Karagol Ayan and Yonatan Bitton and Ceslee Montgomery and Yasumasa Onoe and Andrew Bunner and Ranjay Krishna and Jason Baldridge and Radu Soricut},
year={2024},
eprint={2405.02793},
archivePrefix={arXiv},
primaryClass={cs.CV}
}