Image In Words
利用我們頂尖的圖片識別技術，來解鎖超詳細圖像描述文字
.png&w=3840&q=75)
from 99+ happy users
免費的在線圖片轉描述查看器
嘗試去跟隨“圖片轉描述”的例子
Image In Words是什麼？
Image In Words是專為需要根據圖片生成超詳細文字的場景設計的生成式模型，特別適用於大型語言模型(LLM)助手的識別任務，以及利用gpt4o更複雜場景下的 AI 識別和描述能力。它只要支持英文， 通過使用大約100,000小時英文數據進行訓練，Image In Words在各項測試中都表現出高質量和自然度。
Image In Words 特點
超細節影像描述
採用人工參與標注框架，確保每個影像描述都具有高度的細節和準確性，避免了現有資料集中常見的簡短和不相關描述的問題。
顯著提高模型性能
使用 IIW 數據微調的視覺-語言模型在描述準確性和連貫性方面顯示出顯著提升，模型性能比之前的工作提高了31%。
減少虛構內容
框架通過嚴格的驗證技術減少描述中的虛構內容，確保描述真實反映影像中的細節，而不是添加不存在的細節。
可讀性和全面性
框架生成的描述不僅細節豐富且易讀，能夠被廣泛受眾理解，同時確保全面性，捕捉到視覺內容的所有相關方面。
增強視覺-語言推理能力
通過使用 IIW 數據訓練的模型，其視覺-語言推理能力顯著增強，能夠更好地理解和解釋視覺內容，生成更準確和有意義的描述。
應用廣泛
IIW 框架在多個實際應用中表現出色，包括提高視覺障礙用戶的無障礙性、增強影像搜索功能和更準確的內容審核，展示了其在不同領域的巨大潛力。
下載數據
我們發布了 IIW-Benchmark Eval 數據集、IIW 人工編寫的描述（圖像和對象級註釋）以及與先前工作（DCI、DOCCI）的比較、機器生成的 LocNar 和 XM3600 數據集的豐富版本是開源的。下面的統計數據反映了數據豐富的程度（例如，每個詞性的長度和豐富度的大幅增加）。
數據集在 CC-BY-4.0 許可下發布，可以在 GitHub 上找到，也可以從 Hugging Face 以“jsonl”格式下載。
有關IIW的所有資料，請瀏覽網頁、項目、數據下載、可視化等等
BibTeX
@misc{garg2024imageinwords,
title={ImageInWords: Unlocking Hyper-Detailed Image Descriptions},
author={Roopal Garg and Andrea Burns and Burcu Karagol Ayan and Yonatan Bitton and Ceslee Montgomery and Yasumasa Onoe and Andrew Bunner and Ranjay Krishna and Jason Baldridge and Radu Soricut},
year={2024},
eprint={2405.02793},
archivePrefix={arXiv},
primaryClass={cs.CV}
}