[스크립트] 연속적으로 중복되는 필드 제거
글쓴이: whited85 / 작성시간: 목, 2015/11/12 - 9:43오전
안녕하세요. (__)
스크립트 초보입니다..
일하다가 단순하게 반복하는 작업이 있는데
양이 너무 많아 스크립트로 처리하려고 했는데요...
중복행 같은경우에는 awk 와 sed를 이용해서 제거가 간단하게 되었는데
중복되는열(필드) 같은경우에는 어떤 방법이 있을까요..?
데이터가 여러행에 있고 각 행마다
연속적으로 중복되는 필드가 있을 경우 유일하게 한개만 남겨두고 제거해야 합니다..
도움 좀 부탁 드리겠습니다.. ㅠㅠ
예제 원본 ======================================== 13074 13075 13076 13076 13076 13076 15050 15050 15051 15052 15053 15053 12051 12051 13051 15351 15053 15054 ======================================== 원하는결과값 ======================================== 13074 13075 13076 15050 15051 15052 15053 12051 13051 15351 15053 15054 ========================================
Forums:


awk
awk '{str="";c=0;split($0,arr," "); for (v in arr) c++; for (m=c;m >= 1;m--) for (n=1; n<m;n++) if (arr[m] == arr[n]) delete arr[m]; for (k=1;k<=c;k++) {if (k ==0 ) {s=arr[k] } else if (arr[k] != "") str=str" "arr[k] } print str}'[root@localhost oops]# awk '{str="";c=0;split($0,arr," "); for (v in arr) c++; for (m=c;m >= 1;m--) for (n=1; n<m;n++) if (arr[m] == arr[n]) delete arr[m]; for (k=1;k<=c;k++) {if (k ==0 ) {s=arr[k] } else if (arr[k] != "") str=str" "arr[k] } print str}' a.txt 13074 13075 13076 15050 15051 15052 15053 12051 13051 15351 15053 15054 [root@localhost oops]#출처 : http://www.folkstalk.com/2012/09/remove-duplicate-strings-words-from.html
위에 내용 응용하시면 되겠습니다..
소곤소곤
답변 감사 드립니다.
답변 감사 드립니다. (__)
$ cat x.txt 13074 13075
$ cat x.txt 13074 13075 13076 13076 13076 13076 15050 15050 15051 15052 15053 15053 12051 12051 13051 15351 15053 15054 $ while read line; do echo `echo -en "${line// /\\n}\n" | uniq`; done < x.txt 13074 13075 13076 15050 15051 15052 15053 12051 13051 15351 15053 15054"연속으로 중복된 열" 만 제거됩니다. 중복이지만 연속이지 않은 열은 살아남습니다.
와우. 이거 멋지지네요. +++++1
와우. 이거 멋지지네요. +++++1
정말 딱 제가 원하던 거네요..
정말 딱 제가 원하던 거네요..
이렇게 간단하게 만들어내시다니.. 생각도 못했네요 uniq 쓸 생각만 했지.. 응용을 못했네요
감사합니다.
Perl 로는 이렇네요.
1시간 걸렸습니다. ㅡ_ㅡ;;
http://xmkaelx.blog.me/40066078000
http://kldp.org/node/153762
http://codepad.org/
#!/usr/bin/perl use strict; use warnings; my $val1 = "13074 13075 13076 13076 13076 13076"; my $val2 = "15050 15050 15051 15052 15053 15053"; my $val3 = "12051 12051 13051 15351 15053 15054"; my @list; push(@list, $val1); push(@list, $val2); push(@list, $val3); my $count; $count = scalar @list; print("push 된 총갯수: $count 개\n"); for(my $i=0; $i<$count; $i++) { my @ar = split(' ', $list[$i]); #pop(@list); pop()은 순서가 거꾸로 나온다. @ar = uniqueElements(@ar); print "$_ " foreach (@ar); print "\n"; } my @T1; $T1[0] = $val1; $T1[1] = $val2; $T1[2] = $val3; $count = scalar @T1; print("T1 총갯수: $count 개\n"); for(my $i=0; $i<$count; $i++) { my @ar = split(' ', $T1[$i]); #pop(@list); pop()은 순서가 거꾸로 나온다. @ar = uniqueElements(@ar); print "$_ " foreach (@ar); print "\n"; } sub uniqueElements { my($item, %seen, @result); foreach $item (@_) { push(@result, $item) unless $seen{$item}++; } return @result; }----------------------------------------------------------------------------
젊음'은 모든것을 가능하게 만든다.
매일 1억명이 사용하는 프로그램을 함께 만들어보고 싶습니다.
정규 근로 시간을 지키는. 야근 없는 회사와 거래합니다.
각 분야별. 좋은 책'이나 사이트' 블로그' 링크 소개 받습니다. shintx@naver.com
너무 감사합니다!
너무 감사합니다! 능력자분들.. 1시간 ㅠㅠ
댓글 달기