C언어 관련해서 질문드립니다..

int main(void) { int a=10, b=20; return a + b; }

token: int
token: main
token: (
token: void
token: )
token: {
token: int
token: a
token: =
token: 10
token: ,
token: b
token: =
token: 20
token: ;
token: return
token: a
token: +
token: b
token: ;
token: }

#include <stdio.h>
#include "StringBuffer.h"
 
#pragma warning(disable:4996)
#define MAX_BUF_SIZ     256
 
int fsize(FILE *fp);
 
int main(void) {
    FILE *fp;
    StringBuffer *buffer;
    char buf[MAX_BUF_SIZ] = "";
 
    // 파일에서 문자열을 획득합니다.
    fp = fopen("code.txt", "rt");
    fread(buf, sizeof(char), fsize(fp), fp);
    fclose(fp);
 
    // 획득한 문자열을 바탕으로 버퍼를 초기화합니다.
    // StringBuffer는 내부적으로 문자열을 동적 할당하여 복사하므로
    // buf는 수정해도 상관없습니다.
    buffer = sb_new(buf);
 
    // 버퍼에 문자가 남지 않을 때까지 토큰을 획득합니다.
    fp = fopen("out.txt", "wt");
    while (sb_isempty(buffer) == FALSE) {
        if (sb_gettok(buffer, buf) < 0) // 토큰 획득에 실패하면 종료합니다.
            break;
        fprintf(fp, "token: %s\n", buf); // 획득한 토큰을 출력합니다.
    }
    fclose(fp);
    sb_delete(buffer);
 
    printf("load complete\n");
    return 0;
}
 
int fsize(FILE *fp) {
    int size;
    fseek(fp, 0, SEEK_END);
    size = (int)ftell(fp);
    fseek(fp, 0, SEEK_SET);
    return size;
}

#ifndef __HANDY_STRING_BUFFER__
#define __HANDY_STRING_BUFFER__
 
#define TRUE    1
#define FALSE   0
 
typedef struct _HandyStringBuffer {
    char *str;      // StringBuffer 구조체가 관리하는 문자열입니다.
    int len;        // StringBuffer 구조체의 문자열의 길이입니다.
    int idx;        // StringBuffer가 현재 가리키고 있는 문자의 인덱스입니다.
 
} StringBuffer;
 
// 새 StringBuffer 인스턴스를 생성합니다.
StringBuffer *sb_new(const char *s);
// StringBuffer 인스턴스를 메모리에서 해제합니다.
void sb_delete(StringBuffer *buffer);
 
// StringBuffer로부터 문자를 획득하고 포인터를 이동합니다. 성공시 획득한 문자, 실패시 -1을 반환합니다.
int sb_getc(StringBuffer *buffer);
// StringBuffer로부터 문자를 획득합니다. 포인터는 이동하지 않습니다. 성공시 획득한 문자, 실패시 -1을 반환합니다.
int sb_peekc(StringBuffer *buffer);
// StringBuffer가 획득한 문자를 되돌립니다. 성공시 0, 실패시 1을 반환합니다.
int sb_ungetc(StringBuffer *buffer);
 
// StringBuffer에 획득할 수 있는 문자가 남아있는지 확인합니다. 남아있으면 0을, 아니면 1을 반환합니다.
int sb_isempty(StringBuffer *buffer);
 
// StringBuffer에서 토큰을 획득합니다. 실패하면 -1을 반환합니다.
// 문자열을 획득한 경우 0을, 단일 문자를 획득한 경우 해당 문자의 값을 반환합니다.
int sb_gettok(StringBuffer *buffer, char *token);
 
#endif

#include "StringBuffer.h"
#include <stdlib.h>
#include <string.h>
#include <ctype.h>
 
#pragma warning(disable:4996)
 
// 새 StringBuffer 인스턴스를 생성합니다.
StringBuffer *sb_new(const char *s) {
    // StringBuffer 인스턴스를 생성합니다.
    StringBuffer *buffer = (StringBuffer *)malloc(sizeof(StringBuffer));
    buffer->str = strdup(s); // 문자열을 복사합니다.
    buffer->len = (int)strlen(s); // 문자열의 길이를 구합니다.
    buffer->idx = 0; // 맨 처음 획득할 문자의 위치로 초기화합니다.
 
    // 생성한 인스턴스를 반환합니다.
    return buffer;
}
// StringBuffer 인스턴스를 메모리에서 해제합니다.
void sb_delete(StringBuffer *buffer) {
    free(buffer->str);
    free(buffer);
}
 
// StringBuffer로부터 문자를 획득합니다. 성공시 획득한 문자, 실패시 -1을 반환합니다.
int sb_getc(StringBuffer *buffer) {
    if (sb_isempty(buffer) == TRUE) // 문자를 획득할 수 없으면 -1을 반환합니다.
        return -1;
    else {
        char ret = buffer->str[buffer->idx]; // 반환할 문자를 획득합니다.
        (buffer->idx)++; // 획득한 문자이므로 넘어갑니다.
        return ret; // 획득한 문자를 반환합니다.
    }
//    return buffer->str[buffer->idx++]; // 한 문장으로 합친 결과입니다.
}
// StringBuffer로부터 문자를 획득합니다. 포인터는 이동하지 않습니다. 성공시 획득한 문자, 실패시 -1을 반환합니다.
int sb_peekc(StringBuffer *buffer) {
    if (sb_isempty(buffer) == TRUE)
        return -1;
    return buffer->str[buffer->idx]; // 포인터가 가리키는 위치의 문자를 반환합니다.
}
// StringBuffer가 획득한 문자를 되돌립니다. 성공시 0, 실패시 1을 반환합니다.
int sb_ungetc(StringBuffer *buffer) {
    if (buffer->idx == 0) // 되돌릴 수 없으면 1을 반환합니다.
        return 1;
    --(buffer->idx); // 문자를 되돌립니다.
    return 0; // 되돌리는 데 성공했다면 0을 반환합니다.
}
 
// StringBuffer에서 현재 위치부터 다음 토큰 문자의 시작 사이의 공백을 제거합니다.
static void sb_trim(StringBuffer *buffer) {
    while (sb_isempty(buffer) == FALSE) { // 버퍼에 문자가 남아있는 동안
        if (isspace(sb_peekc(buffer)) == FALSE) // 현재 포인터가 가리키는 문자가 공백이 아니라면 탈출합니다.
            break;
        sb_getc(buffer); // 공백이므로 포인터를 옮깁니다.
    }
}
 
// StringBuffer에 획득할 수 있는 문자가 남아있는지 확인합니다. 남아있으면 0을, 아니면 1을 반환합니다.
int sb_isempty(StringBuffer *buffer) {
    // 현재 문자 포인터의 위치를 기준으로 판정합니다.
    return (buffer->idx >= buffer->len) ? TRUE : FALSE;
}
 
// 현재 문자가 첫 식별자 문자인지 판정합니다.
static int sb_isfnamch(int c) {
    return (c == '_' || isalpha(c)) ? TRUE : FALSE;
}
// 현재 문자가 식별자 문자인지 판정합니다.
static int sb_isnamch(int c) {
    return (c == '_' || isalnum(c)) ? TRUE : FALSE;
}
 
// 식별자를 획득합니다. 토큰을 저장한 포인터의 값을 반환합니다.
static char *get_identifier(StringBuffer *buffer, char *token) {
    char *writer = token; // 목적지에 토큰을 기록하기 위해 포인터를 생성합니다.
    while (sb_isempty(buffer) == FALSE) { // 버퍼에 문자가 남아있는 동안
        if (sb_isnamch(sb_peekc(buffer)) == FALSE) // 문자가 식별자 문자가 아니면 탈출합니다.
            break;
        *writer++ = sb_getc(buffer); // 문자를 획득하여 토큰에 추가합니다.
    }
    *writer = '\0'; // 토큰의 마지막에 널 문자를 추가합니다.
    return token; // 획득한 토큰을 반환합니다.
}
 
// 정수를 획득합니다. 토큰을 저장한 포인터의 값을 반환합니다.
static char *get_integer(StringBuffer *buffer, char *token) {
    char *writer = token; // 목적지에 토큰을 기록하기 위해 포인터를 생성합니다.
    while (sb_isempty(buffer) == FALSE) { // 버퍼에 문자가 남아있는 동안
        if (!isdigit(sb_peekc(buffer))) // 문자가 식별자 문자가 아니면 탈출합니다.
            break;
        *writer++ = sb_getc(buffer); // 문자를 획득하여 토큰에 추가합니다.
    }
    *writer = '\0'; // 토큰의 마지막에 널 문자를 추가합니다.
    return token; // 획득한 토큰을 반환합니다.
}
 
// StringBuffer에서 토큰을 획득합니다. 실패하면 -1을 반환합니다.
// 문자열을 획득한 경우 0을, 단일 문자를 획득한 경우 해당 문자의 값을 반환합니다.
int sb_gettok(StringBuffer *buffer, char *token) {
    sb_trim(buffer); // 포인터를 다음 토큰의 앞까지 옮깁니다.
    if (sb_isempty(buffer) == TRUE) // 버퍼가 비어있다면 획득할 수 없으므로 NULL을 반환합니다.
        return -1;
 
    if (sb_isfnamch(sb_peekc(buffer)) == TRUE) { // 식별자 첫 문자가 발견되었다면 식별자를 획득합니다.
        get_identifier(buffer, token);
    }
    else if (isdigit(sb_peekc(buffer))) { // 숫자가 발견되었다면 정수를 획득합니다.
        get_integer(buffer, token);
    }
    else { // 그 외의 경우 한 글자만 획득합니다.
        *token = sb_getc(buffer);
        token[1] = '\0';
        return *token;
    }
    return 0; // 토큰을 저장한 포인터를 반환합니다.
}