文本多列对比去重问题求助；对以|分割后的第二列去重，同时对第三列比较大小留最大得条目，输出。
iwaifor · 2018-06-25 14:19:20 +08:00 · 1731 次点击这是一个创建于 2345 天前的主题，其中的信息可能已经有所发展或是发生改变。
文本多列对比去重问题求助；对以|分割后的第二列去重，同时对第三列比较大小留最大得条目，输出。
文本格式如下
2018-06-17 22:04:35|/music/2017/12/马车夫之歌-阎维文.mp3|11771904
2018-06-17 22:04:28|/music/2017/12/马车夫之歌-阎维文.mp3|18481152
2018-06-17 22:05:55|/music/2017/12/马车夫之歌-阎维文.mp3|3325952
2018-06-17 22:04:11|/music/2017/12/马车夫之歌-阎维文.mp3|3973120
2018-06-17 22:05:07|/music/2017/12/马车夫之歌-阎维文.mp3|6602752
2018-06-17 22:01:41|/music/2017/12/马车夫之歌-阎维文.mp3|8519680
2018-06-17 22:45:44|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|0
2018-06-17 22:45:16|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|1744896
2018-06-17 22:46:18|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|5447680
2018-06-17 22:45:54|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|5455872
2018-06-17 22:39:24|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|5988352
2018-06-17 22:08:28|/music/2017/12/我的花儿-阎维文.mp3|4702208
2018-06-17 22:08:02|/music/2017/12/我的花儿-阎维文.mp3|8577024
2018-06-17 22:08:02|/music/2017/12/Kanakasabapathi(Raga Atana Tala Adi)-J B Keerthana.mp3|28577
2018-06-17 22:08:02|/music/2017/12/Kanakasabapathi(Raga Atana Tala Adi)-J B Keerthana.mp3|0
2018-06-17 22:08:02|/music/2017/12/Kanakasabapathi(Raga Atana Tala Adi)-J B Keerthana.mp3|2813468
文本格式如下
2018-06-17 22:04:35|/music/2017/12/马车夫之歌-阎维文.mp3|11771904
2018-06-17 22:04:28|/music/2017/12/马车夫之歌-阎维文.mp3|18481152
2018-06-17 22:05:55|/music/2017/12/马车夫之歌-阎维文.mp3|3325952
2018-06-17 22:04:11|/music/2017/12/马车夫之歌-阎维文.mp3|3973120
2018-06-17 22:05:07|/music/2017/12/马车夫之歌-阎维文.mp3|6602752
2018-06-17 22:01:41|/music/2017/12/马车夫之歌-阎维文.mp3|8519680
2018-06-17 22:45:44|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|0
2018-06-17 22:45:16|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|1744896
2018-06-17 22:46:18|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|5447680
2018-06-17 22:45:54|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|5455872
2018-06-17 22:39:24|/music/2017/12/马不停蹄的忧伤-水木年华.mp3|5988352
2018-06-17 22:08:28|/music/2017/12/我的花儿-阎维文.mp3|4702208
2018-06-17 22:08:02|/music/2017/12/我的花儿-阎维文.mp3|8577024
2018-06-17 22:08:02|/music/2017/12/Kanakasabapathi(Raga Atana Tala Adi)-J B Keerthana.mp3|28577
2018-06-17 22:08:02|/music/2017/12/Kanakasabapathi(Raga Atana Tala Adi)-J B Keerthana.mp3|0
2018-06-17 22:08:02|/music/2017/12/Kanakasabapathi(Raga Atana Tala Adi)-J B Keerthana.mp3|2813468
12 条回复 • 2018-06-26 10:59:48 +08:00
 |
1
jswh 2018-06-25 14:22:51 +08:00
excel
|
 |
3
SaulLawliet 2018-06-25 14:30:22 +08:00  2
大概这样吧
awk -F'|' '{if(a[$2] < $3) {a[$2] = $3; b[$2] = $0}} END{for(i in b) print b[i]}' |
 |
4
CEBBCAT 2018-06-25 14:32:53 +08:00 via Android
最终仅输出一行的意思？
|
 |
5
iwaifor OP @SaulLawliet 可用，很神奇，麻烦问问，这个具体是 awk 的什么用法
|
 |
6
imn1 2018-06-25 15:08:31 +08:00
「第二」是至下标 2 吧？否则按语文理解你这去重只剩下一行啊
|
 |
7
lululau 2018-06-25 15:11:41 +08:00
来个 Perl 版本的：
perl -F'\|' -ane '{$h{$F[1]}=$_ and $c{$F[1]}=$F[2] if $c{$F[1]} < $F[2]}END{print for values %h}' |
|
8
lululau 2018-06-25 15:20:27 +08:00 1
再来个 Ruby 版的：
ruby -F'\|' -ane 'x||=[]; x<<$F;END{x.group_by{|e|e[1]}.map{|_,y|y.max_by{|l|l[2].to_i}*"|"}.each{|l|puts l}}' |
 |
9
tamlok 2018-06-25 15:31:42 +08:00 via Android
楼下再补充个 C 版本：
|
|
10
SaulLawliet 2018-06-25 16:01:15 +08:00
|
 |
11
ant2017 2018-06-25 16:40:47 +08:00
awk 'BEGIN{FS=OFS="|";} {if($2 in a){if($3>a[$2]){a[$2]=$3;b[$2]=$0;}}else{a[$2]=$3;b[$2]=$0;}} END{for(i in b){print b[i]}}' aa.unl
|
Select Language