awk 找出第一列重复的行 awk -F’\t’ ‘{a[$1]++;if(a[$1] > 1){print $0};}’ pm.txt `awk -F\”\\t\” ‘{ if (NF> 0 && \$12 != “-”) {print \$12\”\\t\”\$11} }’ $cookie_sort_file_path/cookie_sort*.log > url.log`; 找出第一行的元素个数: awk ‘{if(length(a[$1])==0){a[$1]=0;num++;}} END{print num}’ opentc_top_site.20110709 每行的第一个字段都是url,第二个字段是ruleid,找出每个ruleid影响的url数目。 awk ‘{a[$2]++}END{for (j in a) if(a[j] > 10000 ){print j,a[j]}}’ mask_url_hadoop.1 awk脚本是由模式和操作组成的:pattern {action} 如$ awk ‘/root/’ test,或$ awk ‘$3 < 100′ test。 Sed [...]
