About llava-video dataset

[jun0wanan]

想请教一下，当前微调 ov-si得到llava-video-7b的数据集，所用的 llava-onevision （1.1M）是哪些呀？好像官方没有一个指示。。

[ZhangYuanhan-AI]

https://github.com/LLaVA-VL/LLaVA-NeXT/blob/main/scripts/video/train/exp.yaml;

[jun0wanan]

https://github.com/LLaVA-VL/LLaVA-NeXT/blob/main/scripts/video/train/exp.yaml;

大佬，请教一下这些文件json也没法对应相关数据集好像，可以提示一下吗😅，我其实看到这个了，但是都是json文件还都是mnt的，莫非背后会自己转换成llava-video和llava-onevision对应目录吗🤔

[jun0wanan]

https://github.com/LLaVA-VL/LLaVA-NeXT/blob/main/scripts/video/train/exp.yaml;

不知道能不能给一个具体的对应文件orz，我一个个对应过去有点image在onevision.yaml用了，有些在single_image.yaml用了，不知道有没有一个比较方便的对应方式找到1.1M使用的onevision数据集的图文~

还有是不是有些没开源？所以目前来说是不能复现出llava-video的，就是从ov-si到llava-video....只能用自己数据微调

[ZhangYuanhan-AI]

你好，如果你现在已经有one-vision的数据集了，只需要把
https://github.com/LLaVA-VL/LLaVA-NeXT/blob/main/scripts/train/onevision.yaml

把最后3个替换成llava-video中的数据集。