중복된 line 지우는 shell script는?

김경태의 이미지

첫번째 질문:

shell script를 이용하여

aaa aaa
aaa bbb
bbb ==> cc
bbb
bbb
cc
cc

와 같이 바꾸고 싶습니다. 어떻게 해야 할까요?

두번째 질문:

shell script를 이용하여

특정 string에 특정한 string이 포함되어 있는지 알려면 어떻게 해야 할까요?

가령 aaa_bbb_ccc 라는 스트링에서 a_가 포함되었는지를 check하고 싶다면 어떻게 해야 할까요?

STR="aaa_bbb_ccc"

if [ (만약 STR에 a_라는 string이 있다면) ] then
       echo "a_ is exist "
else if
       echo  "a_ is not exist"
fi

여기서 괄호안에 들어갈 문법은 어떻게 하면 될까요?

익명 사용자의 이미지

쩝 그냥 쉽게 이렇게 하면 어떨까요??

sort blahblah.txt | uniq

Fe.head의 이미지

STR="aaa_bbb_ccc"
STR1=$(echo $STR |grep a_)

if [ "$STR" = "STR1" ] ; then
       echo "a_ is exist "
else
       echo  "a_ is not exist"
fi 

고작 블로킹 하나, 고작 25점 중에 1점, 고작 부활동
"만약 그 순간이 온다면 그때가 네가 배구에 빠지는 순간이야"

익명 사용자의 이미지

laer wrote:
쩝 그냥 쉽게 이렇게 하면 어떨까요??

sort blahblah.txt | uniq

sort -u blahblah.txt

이렇게 해도 됩니다. :D

익명 사용자의 이미지

Quote:

$ cat aaa
fff
fff
fff
f
fff
f
f
f
f
aaa aaa
aaa bbb
bbb
bbb
bbb
cc
cc
ddd
ddd
eee
eee
eee

$ sort -u aaa

aaa aaa
aaa bbb
bbb
cc
ddd
eee
f
fff
$ uniq aaa
fff
f
fff
f
aaa aaa
aaa bbb
bbb
cc
ddd
eee

$

techneer의 이미지

Anonymous wrote:
Quote:

$ cat aaa
fff
fff
fff
f
fff
f
f
f
f
aaa aaa
aaa bbb
bbb
bbb
bbb
cc
cc
ddd
ddd
eee
eee
eee

$ sort -u aaa

aaa aaa
aaa bbb
bbb
cc
ddd
eee
f
fff
$ uniq aaa
fff
f
fff
f
aaa aaa
aaa bbb
bbb
cc
ddd
eee

$

아래는 uniq man 페이지 입니다.
sorted file 에 대해서 중복을 제거 한다고 되어 있네요.


NAME
       uniq - remove duplicate lines from a sorted file

그래서 중복 제거를 하기 위해서는
sort -u 쓰는게 좋구요.

uniq 는 -c 옵션 이 유용하더라구요.
중복된 데이터 count 해주는 건데, 꾀나 쓸만 하답니다.
이 기능 모르고 shell 로 직접 짜는 분들 많이 봤어요.

alfalf의 이미지

두번째 질문에 대한 코드입니다.

STR="aaa_bbb_ccc"

if echo ${STR} | fgrep -q 'a_'
then
       echo "a_ is exist "
else
       echo  "a_ is not exist"
fi

또는

STR="aaa_bbb_ccc"

if [ "${STR/a_/}" != "${STR}" ]
then
       echo "a_ is exist "
else
       echo  "a_ is not exist"
fi

외에 expr을 이용하는 방법도 있겠네요...

댓글 달기

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.