[질문] 하루 1TB 이상 로그 파일이 쌓이는데, 이를 분석하기 위한 방법

웹 로그 파일이 하루에 최소 1TB 이상 쌓입니다.

이를 매시간 단위로 나누어, 로그 분석을 하여 그래프 차트를 제공해주어야 합니다.

그래프 차트에 나와야 하는 자료는 일반적으로 웹 로그를 통해 제공할 수 있는

src ip , dst ip , referer, agent 등의 정보이고요.

지금 떠올르는 생각은 2가지인데요. 어느 방법이 속도도 빠르고 더 좋을까요?

1. perl 을 사용하여 필요 데이터를 추출하여 DB에 저장한다.

2. 원본 로그 파일을 모두 mysql 에 넣은 다음에 필요 데이터를 추출하여 다시 DB에 저장한다.

3. 더 좋은 방안 있으면 추천 부탁드립니다.