thread mutex lock과 file write 동기화 문제
글쓴이: chaka4u / 작성시간: 화, 2006/01/03 - 3:18오후
Linux 2.4 kernel에서 pthread를 이용하여 다음과 같이 구성하였습니다.
void *threadProcess()
{
while(1) {
read_udp_data(buff);
pthread_mutex_lock();
write_file(buff); <-- seq number가 뒤바뀜
pthread_mutex_unlock();
}
}
즉, 1패킷당 1024bytes로 UDP 데이타를 초당 10~15개정도
read하여 1개의 file에 write하는 것을 thread로 구성하였습니다. thread를 10개정도 띄웁니다.
문제는 데이타의 앞부분에 번호가 있는데, 저장된 파일을 확인해보면, 이 번호가 가끔씩 뒤바뀌어 있습니다.
즉, 1,2,3,4,5,... 이렇게 되어야 하는데, 1,2,3,5,4,6,... 이런식입니다.
이 문제를 해결할 방법은 무엇인지요?
[/code]
Forums:
^^;
udp 프로토콜 특성입니다.
udp일경우 보낸 순서대로 온다는 보장이 없습니다.
확시 lock쪽의 문제가 의심되시면 tcp로 바꾸신후해보시기바랍니다.
그럼
udp 문제에 추가로mutex 쪽도 OS 구현에 따라 FIFO가 안되
udp 문제에 추가로
mutex 쪽도 OS 구현에 따라 FIFO가 안되는 걸로 알고 있습니다.
즉 시간차에 의해
read_udp_data(buff);
pthread_mutex_lock();
read_udp 는 먼저 한 놈이라도
pthread_mutext는 나중에 진입할 수 있습니다.
file write하는 쓰레드는 별도로 두고
그 쓰레드가 ordering 을 하면서 write 하고
다른 쓰레드들은 udp에서 읽어서 그 쓰레드에 넘겨주는게
어떨까 싶습니다.
혹은 파일 write 하는쪽을 약간 abstraction 시켜서
그 내부에서 ordering 하면서 write하도록 해줘도 될 것 같구요.
답변 감사드립니다.기본적으로 UDP 프로토콜의 특성상 순서를 보장
답변 감사드립니다.
기본적으로 UDP 프로토콜의 특성상 순서를 보장하지 못하는
점에 대해서는 알고 있습니다. 이 부분은 현재 배제해도 되는 조건입니다.
또한 현재 테스트를 해보면 초당 패킷수가 5개정도이면 정상적인데
10개정도가 되면 순서가 바뀝니다.
추측해보건데, mutex unlock될때 대기중인 다음 thread의 개수가 많아지면 순서가 보장되지 않는다고 생각됩니다.
결국 처리하는 초당 패킷수를 낮추든가, seq number를 가지고 ordering을 다시 하든가, 아니면 다른 구성을 해야된다고 생각되는데, 현실적으로 다른 구성방법을 찾아야 하는데 좋은 안이 있는지요?
^^;
mutex가 문제가 된다면
file io 의 lock을 한번 써보시기 바랍니다.
그래도 안된다면 queue를 만드셔서 queue 처리 하시는게 답을것 같습니다.
그럼 ^^:
Re: thread mutex lock과 file write 동기화 문제
음..오랜만에 프로그래밍에 대해 글을 남기네요..
순서가 뒤바뀌는 원인은 위에서도 언급하신 바와 같이
읽는 순서대로 쓰여지지 않기 때문입니다.
읽는 것은 10개의 쓰레드가 임의의 순서대로 동시성 제어 없이 하는데,
쓰는 것은 동시성 제어를 통해 순차적으로 이루어지니
쓰여진 데이타가 순서대로 있을 수가 없겠네요.
다른 방법을 제안드리면,
읽는 쓰레드와 쓰는 쓰레드를 분리하시고,
읽기 쓰레드가 데이터를 읽으면 Queue에 매달고, 자신의 일을 진행하도록
하시구요, 쓰기 쓰레드는 매달린 Queue에 대해 순서를 보장하는 방법으로
데이터를 기록하면 되겠습니다.
좀더 테크니컬한 구현 방법으로는
다수의 생산자와 소비자가 있을 때 Queue 형태의 리스트를
구성할 때 생산자와 소비자가 contention이 없도록 구현할 수 있습니다.
물론 다수의 생산자는 동시성 제어를 해 주어야 겠지요.
(이건 말로 설명하기 조금 힘듭니다만)
위에서 읽기 쓰레드가 Queue에 매달 때도 아마도 순서대로 매달리지
않을 것입니다. 왜냐하면 먼저 읽은 놈이 먼저 매달 수 있도록
스케쥴링이 되지 않기 때문입니다.
흠..쓰다 보니 중언부언 했네요.
혹시 다른 의문점이 있으시면..다시 대화를 하지요.
건강하세요.
고도의 추상화, 극도의 구체화, 에디슨을 그리워하다.
댓글 달기