파이썬에서 codecs.open 한후 read 시 읽은 글자수는??

marunguy의 이미지

파이썬 마을에 올렸는데 답변이 없어서.. TT_TT..
http://python.kr/viewtopic.php?p=68739#68739

아무래도 BOM 이 있는 utf-16 파일을 codecs.open 으로 열고 read시 버그가 있는듯 합니다.

아래와 같은 내용을 가진 BOM 이 없는 utf-16le 문자셋의 t.txt 파일을 생성합니다.
ABCDEFGHIJKLMNOPQRSTUVWXYZ

먼저, 아래와 같은 코드를 실행합니다.

for i in range(1,20):
    f = codecs.open("t.txt", encoding="utf-16le")
    t = f.read(i)
    print i, len(t), t
    f.close()

그러면, 아래와 같이 원하는 글자수만큼 읽습니다.
1 1 A
2 2 AB
3 3 ABC
4 4 ABCD
5 5 ABCDE
6 6 ABCDEF
7 7 ABCDEFG
8 8 ABCDEFGH
9 9 ABCDEFGHI
10 10 ABCDEFGHIJ
11 11 ABCDEFGHIJK
12 12 ABCDEFGHIJKL
13 13 ABCDEFGHIJKLM
14 14 ABCDEFGHIJKLMN
15 15 ABCDEFGHIJKLMNO
16 16 ABCDEFGHIJKLMNOP
17 17 ABCDEFGHIJKLMNOPQ
18 18 ABCDEFGHIJKLMNOPQR
19 19 ABCDEFGHIJKLMNOPQRS

이번엔, t.txt 에 UTF-16LE BOM 을 추가하고 아래와 같은 코드를 실행합니다.

for i in range(1,20):
    f = codecs.open("t.txt", encoding="utf-16")
    t = f.read(i)
    print i, len(t), t
    f.close()

그러면, 아래와 같이 중간중간 원하는 글자수보다 더 많이 읽습니다.
1 1 A
2 2 AB
3 3 ABC
4 5 ABCDE
5 6 ABCDEF
6 8 ABCDEFGH
7 9 ABCDEFGHI
8 11 ABCDEFGHIJK
9 12 ABCDEFGHIJKL
10 14 ABCDEFGHIJKLMN
11 15 ABCDEFGHIJKLMNO
12 17 ABCDEFGHIJKLMNOPQ
13 18 ABCDEFGHIJKLMNOPQR
14 20 ABCDEFGHIJKLMNOPQRST
15 21 ABCDEFGHIJKLMNOPQRSTU
16 23 ABCDEFGHIJKLMNOPQRSTUVW
17 24 ABCDEFGHIJKLMNOPQRSTUVWX
18 26 ABCDEFGHIJKLMNOPQRSTUVWXYZ
19 27 ABCDEFGHIJKLMNOPQRSTUVWXYZ

파일전체를 한번에 읽어서 처리하면 별문제가 없지만 파일크기가 커서 그렇게 할 수 없는 상황입니다.

XP SP3 , python 2.5.4 / 2.6.2 와 데비안, python 2.5.4 에서 동일증상입니다.

이 문제를 회피할 수 있는 방법이 있을까요?