미리알았다면 좋았을 것들 disown session이 끝났을때도 해당 프로그램이 실행되기를 원할때 보통은 nohup( no hang up )으로 실행시키지만 nohup으로 실행되지 않은 프로그램의 경우 disown으로 SIGHANGUP 을 받지 않도록 하여 세션과 상관없이 실행 가능하도록 설정할수 있다. 실행 방법 ./test 실행 ctrl + z 로 sleep mode disown 명령어.. 쉘스크립트 2014.04.15
memchr vs strchr str 계열 함수들은 NULL 문자를 체크해야 한다. C언어에서 문자열은 기본적으로 문자열의 마지막을 '\0'으로 표시하기 때문이다. 수백만번의 strchr대신 memchr로 바꾸면 속도가 향상될까 하는 호기심에 테스트를 해봤더니 별다른 속도 차이가 없었다. 이유는 이 두함수의 원형을 살펴보면 대략.. C언어 2014.04.15
pig Nested FOREACH 입력데이터가 time, name, id 일때 ID로 GROUPING을 하고 그룹핑된 갑들에 대해 time순으로 정렬하기 위해 아래와 같이 nested foreach를 사용한다. A = FOREACH fields GENERATE time, name, id B = GROUP A BY (id); C = FOREACH B { sorted = ORDER A by time; GENERATE sorted; }; STORE C INTO '/user/hadoop/jchern/test'; hadoop 2014.02.05
hadoop safemode 해제 http://stackoverflow.com/questions/4966592/hadoop-safemode-recovery-taking-too-long 하둡 safemode 해제 safemode가 너무 오래 지속될때 아래 명령어로 해제한다. hadoop dfsadmin -safemode leave hadoop 2014.02.04
Use of uninitialized value in substitution 1 my ($key, $val) = split(/\t/); 2 $val =~ s/\{\(//; 3 $val =~ s/\)\}//; 4 my @fields = split(/\),\(/, $val); 위와 같은 코드에서 아래와 같은 에러가 발견되었을 경우 Use of uninitialized value in substitution (s///) at 초기화 되지 않은 변수가 사용되었다는 경고 메세지인데 이유는 단순하다 1번 라인에 의해 값이 할당된 v.. PERL 2014.02.04
GNU LIB 관련 링크 http://www.gnu.org/software/libc/manual/html_mono/libc.html#Introduction C언어 2014.01.28
hadoop to local-server 다른 리모트 서버에 설치된 하둡클러스터에서 특정 파일을 로컬 서버에 다운 받을때 아래와 같이 사용하면 된다. hadoop dfs -get hdfs://HOST:PORT/DIRECTORY/FILE ./ 참고 : http://doc.mapr.com/display/MapR/Copying+Data+from+Apache+Hadoop 프로그램 2014.01.03
malloc 2G 이상 메모리 할당 http://linuxtoolkit.blogspot.kr/2011/08/memory-management-preventing-kernel.html?m=1 메모리를 2G Bit 이상 한번에 할당 받기 위해서는 아래 옵션을 수정해야 한다. 옵션은 /etc/sysctl.conf 또는 /etc/sysctl.d/myapp.conf 에 위치해 있다. vm.overcommit_memory 은 3가지 타입이 있다. 0 : 조건 없이 최대 할당( 시스템에서 악영향.. 프로그램 2013.11.15
LC_ALL=C \\\\ 1 \\ 2 \ 3 \\\\\\ 4 \\\\\\\ 5 위처럼 생긴 파일을 리눅스 sort를 사용해서 정렬을 하면 \\\\\\\ 5 \\\\\\ 4 \\\\ 1 \\ 2 \ 3 처럼 정렬이 된다.내가 기대한것은\ 3 \\ 2 \\\\ 1 \\\\\\ 4 \\\\\\\ 5 이다. 그러면 -r 옵션으로 역순으로 정렬하면 될까? 물론 이 경우에는 그렇게 하면 되겠지만 \\\네이버 7 \\\다음 6 위.. C언어 2013.11.13