Waymo open dataset 数据集下载后，如何解压

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 747 天前的主题，其中的信息可能已经有所发展或是发生改变。

waymo 数据集下载下来是 tar files ，在不同的文件夹中，请问有人知道什么方式解压最方便吗？是需要进入不同文件夹，执行 ls *.tar.gz | xargs -n1 tar xzvf 请问有人用过这个数据集吗？ OpenPCDET 和 MMLab, 对于解压方式，是不是也应该不也一样？

tar

文件夹

waymo

请问

4 条回复 • 2022-11-20 09:03:43 +08:00

FACEB00K

2022-11-17 20:19:18 +08:00

waymo 数据集不都是 tfrecord 的形式吗，我只用 gsutil 下载过单独的几个文件

yiyi1010

2022-11-18 11:44:22 +08:00

@FACEB00K 谢谢你哈。对，就 gsutil 下载下来的是 tar files ，你这里是用什么解压的，解压之后应该就是 tf 文件，你是分别在 training ，testing ，validation 每个文件夹里面执行 ls *.tar.gz | xargs -n1 tar xzvf ，进行解压吗

FACEB00K

2022-11-18 20:45:01 +08:00

@yiyi1010 我用的 Colab 跑的 tutorial code ，数据直接下载在了 Google Drive 里面，`gsutil -m cp -r
"gs://waymo_open_dataset_motion_v_1_1_0/uncompressed" . ` 这个命令下载下来直接就是原来的结构，不需要解压。
anyway ，其实随便怎么解压，最后和原来的目录结构一样就可以了，目录结构不深，随便怎么搞，最后 mv 移动一下就行
By the way ，你数据集下载之后一共多大😭😭😭

yiyi1010

2022-11-20 09:03:43 +08:00

@FACEB00K 是的，蛮大的，我全部下载了（ testing ，training ，validation ，domain adaptation 四个文件夹），大概 1.8T ，但是你就是说手动进行处理成 OpenPCDET 需要的样式