This topic created in 2092 days ago, the information mentioned may be changed or developed.
2 个文件，结构是一样的，但是数据是乱序的。比如
1.csv:
A B C D
1 1 1 1
2 2 2 2
3 3 3 4
4 4 4 4
--------
2.csv:
A B C D
2 2 2 2
4 4 4 4
3 3 3 3
1 1 1 1
这 2 个 csv 文件虽然数据的顺序不一样，但是因为每行的内容是一样的，所以可以被认为是 2 个一样的文件，目前找到的比较方法都是按照一行对应一行比较的，这样的话，上面说的 2 个文件会被认为是不相同，不知道有没有什么软件能实现上面说的比较方法
1.csv:
A B C D
1 1 1 1
2 2 2 2
3 3 3 4
4 4 4 4
--------
2.csv:
A B C D
2 2 2 2
4 4 4 4
3 3 3 3
1 1 1 1
这 2 个 csv 文件虽然数据的顺序不一样，但是因为每行的内容是一样的，所以可以被认为是 2 个一样的文件，目前找到的比较方法都是按照一行对应一行比较的，这样的话，上面说的 2 个文件会被认为是不相同，不知道有没有什么软件能实现上面说的比较方法
Supplement 1 · Aug 17, 2020
谢谢大家，最后采取了先排序在比较的方法，没有采用一行一行读取比较的原因是因为 2 个 csv 文件都太大了，实际的 1.csv 有 10000+行，2.csv 也有 10000+行，一行一行比，计算量太大。
有一个小 hit，如果数据的列比较多，我这边的数据是 18 列，排序时要对这 18 列全部进行排序，不然可能会出现排序后数据顺序还存在不同的情况
有一个小 hit，如果数据的列比较多，我这边的数据是 18 列，排序时要对这 18 列全部进行排序，不然可能会出现排序后数据顺序还存在不同的情况
 |
1
wangkun025 Aug 15, 2020  2
Excel，排序，再对比下。
|
 |
2
xupefei Aug 15, 2020
> wc -l 1.csv
5 > wc -l 2.csv 5 > comm -12 <(sort 1.csv) <(sort 2.csv) | wc -l 4 你给的这两个文件不一样吧，一个是 3334，一个是 3333 。 |
 |
3
blackeeper Aug 15, 2020 1
cat 1.csv | sort |md5sum
cat 2.csv | sort |md5sum 排序后，对比一下两个文件的哈希值 |
 |
7
justgodlike1993 Aug 16, 2020
sort 然后 diff
|
 |
8
di94sh Aug 16, 2020 via iPhone
python 读到 set 里 每一行都是 tuple
|
 |
9
hongch Aug 16, 2020
最简单的方法
A.forEach{ return B.contains(item) } 🤪 |
Select Language