[스크립트] 연속적으로 중복되는 필드 제거
글쓴이: whited85 / 작성시간: 목, 2015/11/12 - 9:43오전
안녕하세요. (__)
스크립트 초보입니다..
일하다가 단순하게 반복하는 작업이 있는데
양이 너무 많아 스크립트로 처리하려고 했는데요...
중복행 같은경우에는 awk 와 sed를 이용해서 제거가 간단하게 되었는데
중복되는열(필드) 같은경우에는 어떤 방법이 있을까요..?
데이터가 여러행에 있고 각 행마다
연속적으로 중복되는 필드가 있을 경우 유일하게 한개만 남겨두고 제거해야 합니다..
도움 좀 부탁 드리겠습니다.. ㅠㅠ
예제 원본 ======================================== 13074 13075 13076 13076 13076 13076 15050 15050 15051 15052 15053 15053 12051 12051 13051 15351 15053 15054 ======================================== 원하는결과값 ======================================== 13074 13075 13076 15050 15051 15052 15053 12051 13051 15351 15053 15054 ========================================
Forums:
awk
출처 : http://www.folkstalk.com/2012/09/remove-duplicate-strings-words-from.html
위에 내용 응용하시면 되겠습니다..
소곤소곤
답변 감사 드립니다.
답변 감사 드립니다. (__)
$ cat x.txt 13074 13075
"연속으로 중복된 열" 만 제거됩니다. 중복이지만 연속이지 않은 열은 살아남습니다.
와우. 이거 멋지지네요. +++++1
와우. 이거 멋지지네요. +++++1
정말 딱 제가 원하던 거네요..
정말 딱 제가 원하던 거네요..
이렇게 간단하게 만들어내시다니.. 생각도 못했네요 uniq 쓸 생각만 했지.. 응용을 못했네요
감사합니다.
Perl 로는 이렇네요.
1시간 걸렸습니다. ㅡ_ㅡ;;
http://xmkaelx.blog.me/40066078000
http://kldp.org/node/153762
http://codepad.org/
----------------------------------------------------------------------------
젊음'은 모든것을 가능하게 만든다.
매일 1억명이 사용하는 프로그램을 함께 만들어보고 싶습니다.
정규 근로 시간을 지키는. 야근 없는 회사와 거래합니다.
각 분야별. 좋은 책'이나 사이트' 블로그' 링크 소개 받습니다. shintx@naver.com
너무 감사합니다!
너무 감사합니다! 능력자분들.. 1시간 ㅠㅠ
댓글 달기