예를들어

int BASE = 3; // the first one LED connected to the I / O pins

int NUM = 3; // LED's total

void setup ()

{

for (int i = BASE; i <BASE+NUM; i++)

{

pinMode (i, OUTPUT); // set the digital I / O pin as an output

}

}

을 ./lex < text.ino 식으로 실행하면

int : keyword
BASE : userdefined variable
() : special symbol 등 이런식으로 분류해보려고 합니다. 처음공부하는 것이고 인터넷 보면서 간간히 공부중입니다 ㅠ

말씀해주신대로 숫자나 identifier에 대해서 명확하게 정규식을 사용하고 공백처리를 한번에 하였는데도 아직 공백때문에 말썽이네요..

int BASE = 3; 여기서 =과 3이 도저히 걸러지질않습니다.
digit [0-9]|[1-9][0-9]*
assignment  [=]+
으로 아무리 생각해도 다른 방법이 없는데... digit에 " "[0-9]|[1-9][0-9]* 를 하면 인식은 합니다만.. 이렇게 하는건 별로 좋은방법이 아닌것같더라구요..

for (int i = BASE; i <BASE+NUM; i++)

여기서 i 또한 [a-zA-Z]|[a-zA-Z0-9]*로 정의를 하였는데 i 하나가 걸러지지않네요..

i++ 이런것을 i , ++  로 세세하게  token으로 걸러내려면 lexer 만으로는 불가능한건가요 ??