malloc 등을 사용한 메모리 동적 할당 시 메모리 오버헤드 문제.
글쓴이: shodhpfooqmm / 작성시간: 토, 2012/02/18 - 1:24오후
malloc 등을 사용하여 C에서 메모리를 동적 할당 할 때
malloc의 인자로 넘겨주는 크기 이외에 정보를 유지하거나 하기 위해 사용하는 메모리가 얼마나 되는지 알 수 있나요?
malloc을 통한 메모리 할당은 2G 정도인데, 프로그램의 메모리 사용량은 7G 정도가 나옵니다.
메모리가 새거나 하는 부분 없이 malloc을 많이(수 천만번) 사용하긴 하는데
단지 이 부분 때문에 이렇게 메모리 사용량이 늘어날 수 있나요?
알아보니 한 번 malloc 시에 64비트 서버 기준 유저레벨에선 16바이트(8바이트 * 2)를 사용하는데
16바이트로 계산해보면 7기가가 나오진 않습니다.
혹시 제 시스템에서 malloc 할 때 필요한 커널 및 유저레벨에서 소모되는 메모리량을 알 수 없을까요?
조언 부탁드립니다.
Forums:
valgrind도 한번 고려해보세요...
질문의 정확한 의도를 잘 모르지만,
valgrind 한번 돌려보세요...
오버헤드는 있는걸로 알고 있는데, 2G -> 7G라면 뭔가 문제가 있어보이는데요 ?
------------------ System programmer...^^
malloc과 free를 계속해서 사용하다 보면
memory fragmentation이 일어 나서 메모리가 증가할 수도 있습니다(C/C++ 은 garbage collecion을 해 주지 않기 때문에).
malloc을 하게 되면 memory management를 위해서 memory block 앞뒤로 일부 추가적인 메모리가 할당이 더 되기도 합니다. 이는 컴파일러에 따라 다를 수도 있구요.
malloc/free가 빈번하게 일어 난다고 하면 object pool 방식(애초에 큰 덩어리의 배열 memory를 잡아서 이를 이용하는 방식)의 사용을 추천합니다. 이 경우 new와 delete를 overload해서 사용하면 됩니다.
www.gilgil.net
앞뒤로 조금 더 붙이긴 하더라도 free를 제대로
앞뒤로 조금 더 붙이긴 하더라도 free를 제대로 해주면 메모리가 증가할일은 없겠죠.
답변 감사드립니다.
현재 프로그램에서는 free 없이 수천만번의 malloc을 사용하는데
제가 궁금한 것은 malloc을 할 때 소요되는 인자로 넘기는 값을 제외한 총 메모리 입니다.
위에 분이 말씀하신 valgrind도 돌려 보았는데, 이 프로그램은 단지 malloc한 메모리의 총 합만 계산해주더라구요. (예를 들어 malloc으로 총 2기가를 할당하면 valgrind의 결과는 2기가가 나옵니다.)
프로그램에서 malloc 시 발생하는 오버헤드가 malloc하는 메모리 자체보다 커지는 경우도 많은데, (이 부분은 개선해야 할 부분으로 생각됩니다.)
이러한 경우를 고려하고 계산해도 메모리 사용량이 맞질 않습니다ㅠ
혹시 alignment 문제 + malloc 자체의 오버헤드로 인한 것일까요?
코드를 조금 적어보면
char buffer[BUFSIZE], data1[DSIZE], data4[DSIZE], data5[DSIZE];
char *d1, *d4, *d5;
while (fgets(buffer, BUFSIZE, fp)) {
sscanf(buffer, "%s %u %u %s %s, data1, &data2, &data3, data4, data5);
d1 = malloc(strlen(data1) + 1);
d4 = malloc(strlen(data4) + 1);
d5 = malloc(strlen(data5) + 1);
strcpy(d1, data1);
strcpy(d4, data4);
strcpy(d5, data5);
}
짧게 쓰면 이런식 으로 데이터를 읽으며 공간을 할당합니다.
proc 정보를 확인해 보시면 될 듯 싶은데요...
proc 정보를 확인해 보시고서 어떤 process에서 많이 할당되었는지 확인한 이후에 memory leak을 잡으시면 될 것 같은데요~ ^^
-_- _-_ -_-
댓글 달기