boost 스마트 포인터 사용시 메모리 할당 해제 문제

typedef struct _a         
{
  unsigned char a,b;
} a;

typedef struct _b
{
  unsigned char c;
  unsigned char* d;
} b;


class pkt_buff
{
  pkt_buff(unsigned char* data, int len);
~pkt_buff();
private:   
   a   m_a;
    b   m_b;
}

pkt_buff::pkt_buff(unsigned char* data, int len)
{
    memcpy(&m_a, data, 2);   

    m_b.c = *(data+2);

     m_b.d = new unsigned char[len-3];
    memcpy(m_b.d, data+3, len-3);

     ...
}

pkt_buff::~pkt_buff()
{
     delete m_b.d;
}

typedef boost::shared_ptr<pkt_buff> pkb_ptr;
typedef std::vector<pkb_ptr> pkb_list;

뭐 대충 위와 같은 식으로 짰는데요.
시리얼로 들어오는 패킷을 레이어별 헤더로 구분하고,
특정 데이터를 저장하는 부분이 필요해서요.

일종의 패킷 스니퍼를 작성하고 있습니다. 패킷 하나의 양은 1-200byte로 크지 않습니다. 그리고 들어오는 속도도 그리 빠르지는 않습니다 .

패킷 하나가 시리얼로 들어오면 (char array 형태로 통짜로 들어옵니다.) 위 pkt_buff 클래스를 이용해서 pkt_buff 객체를 하나 만들고, vector에 저장합니다.

들어오는 패킷을 vector에 쭈욱 저장하고, 화면에서는 자료구조에 담긴 패킷들을 하나하나 뽑아내서 화면에 패킷을 표시하는 프로그램입니다.

vector에 저장할 때, 자료형을 그대로 담는 건 메모리 오버해드가 크다고 해서 저렇게 포인터만 저장하는 걸로 알고 있습니다.

그런데 boost의 스마트 포인터는 scope를 벗어나면 자기가 메모리 해제를 하는 것으로 알고 있는데, 파괴자 ~pkt_buff() 부분도 수행을 하는 것입니까? 아니면 자기가 알아서 해주는 것인가요?

위에서 m_b.d 부분은 new로 할당을 해줘야 하는 부분이라서...

그리고, 위같은 구조로 사용해도 무방할까요?

더 효율적인 구조는 없을지 문의드립니다.