hadoop 하시는분 도움 좀 부탁드립니다.
글쓴이: mayaabba / 작성시간: 화, 2010/10/26 - 1:01오후
java 로 서버 프로그램 작성하고
받은 파일을 하둡에 써볼려고 하는데
이놈이 자꾸 안되네요.
FileSyste fs = FileSystem.get (URI.create(path), conf);
여기서 URI.create에 자꾸에러가 나네요.
하둡 클러스터는 싱글 노드구요
path는 다음과 같이 만들었습니다.
hdfs://localhost:54310/user/0/
hadoop definitive guide 에 따르면 폴더는 자동으로 생성해 준다기에 따로 mkdirs를 하지는 않았구요.
master@desktop:/usr/local/hadoop$ hadoop fs -ls /
Found 3 items
drwxr-xr-x - master supergroup 0 2010-10-25 12:10 /benchmarks
drwxr-xr-x - master supergroup 0 2010-10-25 12:09 /user
drwxr-xr-x - master supergroup 0 2010-10-25 12:08 /usr
위에는 hadoop에 대해 / 내용을 찍은것 입니다.
/user는 제가 hadoop fs -mkdir /user 로 미리 만들어 놓은 겁니다.
환경설정에서 잘못된것은 없는것 같습니다.
benchmark 테스트를 많이 해봤거든요.
도움 부탁드립니다.
Forums:
문제가 뭔지 아았는데 문제가 또 생겼습니다.
uri 에 띄어 쓰기가 되어 있으면 파일이 생성되지 않더군요.
즉, 일부 지원되지 않는 기호들이 있는것 같은데 이거 그냥 무시하게 하는법 없나요?
혹시 FileSystem fs =
혹시
FileSystem fs = FileSystem.get(URI.create(new Path("user/0/...")), conf);
이런식으로 해도 에러가 발생하나요?
... <- 파일 이름입니다..;;
-----------------------------------------------------
세상은 인간이 해결해야할 문제들로 가득차 있다.
-----------------------------------------------------
세상은 인간이 해결해야할 문제들로 가득차 있다.
다른식으로 해결 했습니다.
문제는 특수 기호들 때문이었는데요
예를들어 space는 \<-- 얘랑 같이 써야 되잖아요?
그런 문제들 이었는데 path 를
Path path = new Path();
이런 식으로 가져 와서
FileSystem.get(path.toURI(), conf) 이렇게 하니까 되더군요.;;;
답변 감사드립니다.
댓글 달기