grep 시나리오(궁금합니다.)

helioce의 이미지

로그파일을 검색히다가 생각나서 질문합니다.

로그파일에서 error=" "패턴을 찾으려고 합니다.

문제는 따옴표안의 문자열이 다르다는 것인데 제가 하고싶은 행위는

따옴표안의 문장이 다른것만 출력시키고 싶습니다.

예를들면 다음과 같은 로그파일이 있다면

error="Invalid Num"

error="Invalid Num"

error="Invalid Num"

error="MapOperation Fail"

error="MapOperation Fail"

찾아낼때는 갯수는 제외하고 종류만뽑아내고 싶은겁니다.

error="Invalid Num"

error="MapOperation Fail"

아시면 답변 부탁드립니다.^^

beta의 이미지

% man uniq
참고하세요.

helioce wrote:
로그파일을 검색히다가 생각나서 질문합니다.

로그파일에서 error=" "패턴을 찾으려고 합니다.

문제는 따옴표안의 문자열이 다르다는 것인데 제가 하고싶은 행위는

따옴표안의 문장이 다른것만 출력시키고 싶습니다.

예를들면 다음과 같은 로그파일이 있다면

error="Invalid Num"

error="Invalid Num"

error="Invalid Num"

error="MapOperation Fail"

error="MapOperation Fail"

찾아낼때는 갯수는 제외하고 종류만뽑아내고 싶은겁니다.

error="Invalid Num"

error="MapOperation Fail"

아시면 답변 부탁드립니다.^^

발 담갔다. 이제 익숙해 지는길만이..

luscent의 이미지

만든사람  기노욱. 

#!/usr/bin/perl -w


## 실행방법
## perl this.pl <logfile> .... (갯수에 상관없음)

open(LOG,">check.txt");

my %LOG;

while(<>)
{
               $filename = $ARGV	if($. ==1)  #라인번호가 1일경우
	
	#pattern을 골라냄
	# if(/regexp/) $pattern = $&; (regexp 자체는 $&, 앞부분은 $` 뒷부분은 $');
	# substr($_, start, end);
	# 위의 둘중에 하나를 패턴으로 넣음
	
	$LOG{$filename}->{pattern} = $pattern;
	$LOG{$filename}->{count}++;
	close ARGV if eof; #파일의 끝일경우 라인번호를 초기화함.
}

## 자료구조 설명 해쉬를 사용함
# 파일이름에서 패턴을 입력함
# %LOG = (
#	filename =>
#		{
#		pattern => $pattern,
#		count => $count,
#		}
# );

for $key (keys %LOG)   #$key equal  filename
{
	print LOG $key,"\n";
	print LOG $$LOG{$key}{pattern},"\t";
	print LOG $$LOG{$key}{count},"\n";
}
		
		
	
		
		
helioce의 이미지

uniq는 문자열이 아니라 반복행을 삭제하기땜에 안됩니다.

예제는 행으로 표현되었지만 원래는 반복되는 문자열을 의미한겁니다.

shell로 만든다면 어떻게 하는 것이 좋을까요?

cinsk의 이미지

grep '^error=\"[^"]*\"' log_file | sort | uniq

cdpark의 이미지

더 간단히

sort -u

:)

zienie의 이미지

cdpark wrote:
더 간단히

sort -u

:)

한방이군요 ^^
좋은 정보 감사합니다.

##########################################################
넘어지는건 아직 괜찮다.
하지만 넘어질때마다 무언가를 주워서 일어나자.

alfalf의 이미지

cinsk wrote:
grep '^error=\"[^"]*\"' log_file | sort | uniq

특별히 문제 될것이 없다면 속도를 위해 fgrep을 쓰시는게...
fgrep 'error=' log_file | sort -cu

댓글 달기

Filtered HTML

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

BBCode

  • 텍스트에 BBCode 태그를 사용할 수 있습니다. URL은 자동으로 링크 됩니다.
  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param>
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.

Textile

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • You can use Textile markup to format text.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Markdown

  • 다음 태그를 이용하여 소스 코드 구문 강조를 할 수 있습니다: <code>, <blockcode>, <apache>, <applescript>, <autoconf>, <awk>, <bash>, <c>, <cpp>, <css>, <diff>, <drupal5>, <drupal6>, <gdb>, <html>, <html5>, <java>, <javascript>, <ldif>, <lua>, <make>, <mysql>, <perl>, <perl6>, <php>, <pgsql>, <proftpd>, <python>, <reg>, <spec>, <ruby>. 지원하는 태그 형식: <foo>, [foo].
  • Quick Tips:
    • Two or more spaces at a line's end = Line break
    • Double returns = Paragraph
    • *Single asterisks* or _single underscores_ = Emphasis
    • **Double** or __double__ = Strong
    • This is [a link](http://the.link.example.com "The optional title text")
    For complete details on the Markdown syntax, see the Markdown documentation and Markdown Extra documentation for tables, footnotes, and more.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 사용할 수 있는 HTML 태그: <p><div><span><br><a><em><strong><del><ins><b><i><u><s><pre><code><cite><blockquote><ul><ol><li><dl><dt><dd><table><tr><td><th><thead><tbody><h1><h2><h3><h4><h5><h6><img><embed><object><param><hr>

Plain text

  • HTML 태그를 사용할 수 없습니다.
  • web 주소와/이메일 주소를 클릭할 수 있는 링크로 자동으로 바꿉니다.
  • 줄과 단락은 자동으로 분리됩니다.
댓글 첨부 파일
이 댓글에 이미지나 파일을 업로드 합니다.
파일 크기는 8 MB보다 작아야 합니다.
허용할 파일 형식: txt pdf doc xls gif jpg jpeg mp3 png rar zip.
CAPTCHA
이것은 자동으로 스팸을 올리는 것을 막기 위해서 제공됩니다.