[질문] Data file manipulation 방법?

rubbe의 이미지

안녕하세요.

저는 회사 업무를 통해 아래와 같은 데이터를 얻을 일이 많습니다. 주로 측정기를 통한 데이터인데요. 시간에 따른 전류값 및 fiber의 지름 데이터를 얻습니다.

-----------------------------------------------------
Description
.....

2004-3-24 08:00:00.554 1.328000 2004-3-24 08:00:01.528 1.329000 2004-3-24 08:00:02.558 ..........

------------------------------------------------------

제가 하고자 하는 바는

(1) 데이터가 ms 단위로 나와 있는데, ms단위는 삭제하고 초단위로 정렬 하고 싶습니다.
(2) 매초마다의 데이터를 매분(또는 정해진 간격) 간격으로 screening하고 싶습니다.
(3) 데이터가 1줄에 다 들어가 있는데 이를 아래와 같이 컬럼 기준으로 만들고 싶습니다.

2004-3-24 08:00:00 1.328
2004-3-24 08:00:01 1.329
........

어떤 툴을 사용하면 좋을까요?
만약 programming을 한다면 데이터 처리 logic을 알려주셨으면 합니다.

부탁드립니다.

berise의 이미지

Quote:

(1) 데이터가 ms 단위로 나와 있는데, ms단위는 삭제하고 초단위로 정렬 하고 싶습니다.
(2) 매초마다의 데이터를 매분(또는 정해진 간격) 간격으로 screening하고 싶습니다.
(3) 데이터가 1줄에 다 들어가 있는데 이를 아래와 같이 컬럼 기준으로 만들고 싶습니다.

2004-3-24 08:00:00 1.328
2004-3-24 08:00:01 1.329
........

어떤 툴을 사용하면 좋을까요?
만약 programming을 한다면 데이터 처리 logic을 알려주셨으면 합니다.

이 경우 사용할 수 이는 툴이 유닉스 시스템에 무지 많습니다. 윈도우를 쓴다면 Win32 port를 계획하면 됩니다.

데이터가 컬럼별로 입력될 경우 awk를 사용하는 것이 좋을 듯 합니다.
정해진 간격으로 데이터를 정리하고 싶을 경우 cron 같은 서비스를 활용하면 됩니다.
msec를 sec로 변경하는 것은 간단한 곱셈으로 결과를 얻을 수 있겠지요. awk안에서 처리가능하죠.

따라서, 결론은 cron과 awk를 활용하면 위 문제를 해결하기에는 충분할 것 같습니다.

berise.

rubbe의 이미지

그런데요, 원래 file이 한줄로 입력이 되어있거든요.

한줄짜리 데이터를 컬럼형식으로 바꾸려면 어떻게 해야 하나요?

예하나만 보여주시면...

제가 정규 표현식을 몰라서요..