hadoop

pig stream stderr 남기기 ( LOG )

고요한하늘... 2014. 11. 7. 19:00
define CMD `stream.pl` stderr('CMD_logs' limit 100)  

pig로 프로그램을 작성하다보면 User Define Function(UDF)을 만드는 경우가 허다하다

이런 경우 문제가 생겼을때 debugging이 힘들데

이럴 경우 위와 같이 설정을 하면

STORE에 설정된 디렉토리가 만약 /data1 이라면

/data1/CMD_logs 라는 디렉토리에 log가 남게된다.


필요한 정보를 stderr로 출력하면 해당 디렉토리에 정보가 남게되니 프로그램 개발이 수월해 질수 있다.


'hadoop' 카테고리의 다른 글

pig python udf function  (0) 2014.07.30
pig Nested FOREACH  (0) 2014.02.05
hadoop safemode 해제  (0) 2014.02.04
[PIG] set jog.name default_parallel  (0) 2013.01.07
[pig] SUBSTRING   (0) 2012.12.07