유닉스 철학 중에는 ‘출력이 다른 프로그램의 인풋으로 사용될 수 있다고 예상하라. (Expect the output of every program to become the input to another, as yet unknown, program.)’ 라는 항목이 있습니다. 파이프 라는 말을 들어보셨을지 모르겠지만 이를 이용하면 다른 프로그램의 출력을 내 프로그램의 입력으로 받아 사용할 수 있기 때문에 복잡한 프로그램을 만들기보다는 간단한 프로그램을 만들고, 이미 만들어져있는 프로그램들과 조합을 해서 사용하는 것이 가능해집니다.

예를 들어봅시다. A 란 파일에는 이름들이 리스트되어 있습니다. 이 파일의 내용을 확인하기 위해서 cat 을 사용해봅시다.

cat A

파일의 내용이 정렬되어 있지 않기 때문에 내용을 확인하는게 쉽지 않습니다. 하지만 이름들을 정렬시키는 일은 얼운 게 아닙니다. 출력을 pipe(|)를 이용해서 sort 로 넘겨주면 되거든요.

cat A | sort

cat 은 A의 내용을 읽어 표준출력(stdout)으로 출력하고 파이프는 cat의 표준 출력을 sort의 표준 입력으로 연결해줍니다. sort는 표준 입력에서 값을 읽어들인 뒤 이 값들을 정렬해서 다시 표준 출력으로 출력해주게 됩니다.

값을 정렬해놓고 보니 동일한 이름이 여러번 입력되있는 것을 확인할 수 있었습니다. 중복된 값을 제거하기 위해 uniq를 이용해봅시다.

cat A|sort|uniq

cat, sort, uniq 프로그램은 아주 간단한 동작 만을 담당하고 있지만 이 프로그램들을 조합하니 많은 일을 할 수 있게 되었습니다. 자 그럼 매쉬업은 어떨까요?

지도를 제 홈페이지에 추가해보고 싶었습니다. openAPI를 사용하여 지도를 제 홈페이지에 삽입했습니다.

제가 오늘 들렸던 곳들을 입력받아 지도에 표시하고 싶어졌습니다. openAPI를 사용하여 지도를 제 홈페이지에 삽입하고, 여기에 제가 오늘 있었던 곳을 출력합니다.

오늘 들렀던 곳에서 찍은 사진들을 flikr에 올려두었는데, 이 사진들을 이 지도에서 볼 수 있는 기능을 추가하고 싶어졌습니다. flikr의 openAPI를 이용해서 좀 전에 만들어놨던 프로그램을 확장합니다.

제가 아는 openAPI 서비스들이 많지 않아서 복잡한 예를 들 수가 없네요. 어쨌든 파이프를 이용하느냐 아니면 http, xml, json, ajax를 이용하느냐의 차이가 있을 뿐 비슷하지 않나요. ;)

Related Posts

• 1/14/2009 -- 대칭키를 이용한 ssh 로그인 for Mac/*nix (0)
• 1/31/2008 -- problem in fastcgi with apache (2)
• 10/24/2007 -- sql injection 을 피하기위한 간단한 방법… (2)
• 1/2/2007 -- 아파치 안전 장치… (1)
• 10/19/2006 -- 새 백업 스크립트… (1)

1. RSA or DSA key pair
2. keyboard-interactive
3. password

이 중 keyboard-interactive / password 인증 방식은 전부 비밀번호를 이용한 인증이고, RSA/DSA 방식은 대칭키(공개키 – 비밀키)를 이용하는 방식입니다. 공개키를 등록만 해두면 여러 개의 서버에 접속할 때 각기 따로 비밀번호를 치고 로그인을 할 필요가 없으므로 매우 편리한 방식이 되겠습니다.

참고로 비밀키를 도둑맞을 때를 대비해서 비밀키에 암호를 걸어둘 수도 있습니다.

대칭키를 이용해서 로그인을 하도록 설정하려면 우선 대칭키를 만들어야 합니다. 대칭키를 만드는데는 ssh-keygen 이라는 툴에 어떤 방식의 암호화를 사용할 건지만 가르쳐주면 됩니다.

# ssh-keygen -t rsa
# ssh-keygen -t dsa

위 명령어 중 위에껄 사용하면 rsa 키가 만들어지고, 아래껄 사용하면 dsa 키가 만들어집니다. 중간에 비밀번호를 입력하라고 나오는데, 여기서 비밀번호를 입력하게 되면 그 비밀번호를 이용해서 키를 암호화 를 해놓게 됩니다. (나중에 그 키를 사용하기 위해 비밀번호를 입력해야 합니다.)

키를 ssh 서버에 등록하려면 서버의 ~/.ssh/authorized_keys 파일에다가 아까 생성한 공개키 파일(id_rsa.pub or id_dsa.pub)의 내용을 적어주기만 하면 됩니다. 간단하죠.

만약 키에 암호를 걸지 않았다면 지금 상태만으로도 아무 문제 없이 사용할 수 있지만! 키에 암호를 걸어놓았을 경우 ssh로 접속을 시도할 때마다 비밀키를 읽어오기 위해 비밀번호를 물어볼 것입니다. 비밀번호를 치는게 귀찮아서 대칭키 기반 로그인을 설정한건데 이러면 의미가 없겠죠!

이럴 때 유용하게 써먹을 수 있는게 바로 ssh-agent입니다. 비밀키를 불러들이면, 세션이 끝날 때까지 비밀키를 계속 써먹을 수 있도록 도와주는 개념이 되겠습니다. 터미널을 닫지만 않으면 그 세션 내에서는 한 번 로딩한 비밀키를 계속해서 우려먹는거죠.

# eval `ssh-agent`
# ssh-add ~/.ssh/id_rsa

사용법은 위와 같은데, 여기에 약간의 문제가 있습니다. 새로운 터미널을 연다거나 터미널을 닫았다가 다시 실행시키는 경우엔 비밀키를 새로 로딩해야 하거든요. 아까보단 많이 편해졌지만 그래도 좀 귀찮죠?

하지만 걱정하실 필요는 없습니다. 이미 발빠른 아저씨들이 keychain을 만들었거든요. keychain을 이용할 경우 이미 로딩된 키가 있는지를 확인하고 로딩된 키가 발견되면 그걸 공유하게 되므로 처음 맥/PC를 켜서 한 번만 키를 로딩하게 되면 세션을 몇 번이나 열고 닫든 상관없이 계속해서 이 키를 공유하게 되니 아주 편리하죠.

### In Gentoo Linux
# emerge keychain

### in Mac OS X
# sudo port install keychain

# echo “/usr/bin/keychain ~/.ssh/id_rsa” >> ~/.bash_profile
# echo “source ~/.keychain/`hostname`-sh > /dev/null” >> ~/.bash_profile

사용법은 위와 같습니다. Mac OS X 사용자들은 macports를 이용하면 되고, gentoo linux라면 emerge를 이용하면 되겠습니다.

참고자료:
OpenSSH key management, Part 1
OpenSSH key management, Part 2
OpenSSH key management, Part 3

OpenSSH key management, Part 1 번역판
OpenSSH key management, Part 2 번역판

Related Posts

• 4/4/2010 -- 지멋대로의 영어를 더 자주 볼 수 있었음 좋겠습니다. (5)
• 12/15/2009 -- MySQL의 라이센스 모델이 가지는 의미는? MySQL은 결국 죽임을 당할 것인가? (0)
• 8/25/2009 -- 사라져가는 오픈소스 커뮤니티? (7)
• 4/10/2009 -- Gentoo에서 fail2ban 쓰기 (2)
• 4/9/2009 -- 제로보드 XE 관련 약간의 해명… (1)

대부분의 apache 프로세스가 D state 를 가지게 되면서 더 이상 프로세스를 만들어내지 못하게 되서 요청을 처리하지 못하게 되는 것 같은데, D state 는 Uninterruptible sleep 을 의미하므로 fastcgi 프로세스에서 interrupt 를 disable 시킨채로 sleep 상태에 들어가서 이런 문제가 생기는 것으로 보인다.

그렇다고 하루종일 아파치가 정상적으로 동작하고 있나를 확인할 수는 없기에 스크립트를 하나 작성해봤다.

#!/bin/sh
 
cnt=0;
for x in `ps -C apache2 -o stat|grep D`;do 
    let cnt++;
done
 
if [ $cnt -ge 10 ];then
    kill -HUP `cat /var/run/apache2.pid`
fi

sort 와 uniq 를 이용해서 숫자를 셀 수도 있지만 정상적인 경우에 D stat 를 가지는 프로세스가 존재하지 않으므로 for 를 이용하기로 했다. 꺄아! 과연 효과는 -_-! 두둥!

Related Posts

• 1/2/2007 -- 아파치 안전 장치… (1)
• 10/19/2006 -- 새 백업 스크립트… (1)
• 4/23/2006 -- backup script 도 작성 완료 -_-v (2)
• 8/26/2006 -- ErrorDocument 수정 (0)
• 1/23/2009 -- Punbb update (0)

function stripslashes_deep($var){
    $var = is_array($var)?
                  array_map('stripslashes_deep', $var) :
                  stripslashes($var);
 
    return $var;
}
 
function mysql_real_escape_string_deep($var){
    $var = is_array($var)?
                  array_map('mysql_real_escape_string_deep', $var) :
                  mysql_real_escape_string($var);
 
    return $var;
}
 
if( get_magic_quotes_gpc() ){
    if( is_array($_POST) )
        $_POST = array_map( 'stripslashes_deep', $_POST );
    if( is_array($_GET) )
        $_GET = array_map( 'stripslashes_deep', $_GET );
}
 
if( is_array($_POST) )
    $_POST = array_map( 'mysql_real_escape_string_deep', $_POST );
if( is_array($_GET) )
    $_GET = array_map( 'mysql_real_escape_string_deep', $_GET);

common function 들을 정의해놓은 파일 맨 아래 저 코드를 삽입해버리니 sql injection 따위 이제 두려워할 필요가 없어졌다. 움하하핫!!

p.s) 그냥 array_map 에 stripslashes 나 mysql_real_escape_string 을 사용하게 되면 array 가 넘어온 경우 문제가 생길 수 있어서 약간 수정을 했습니다.

Related Posts

• 11/15/2005 -- 나는 제로보드가 싫어요!! (5)
• 1/28/2009 -- 번역: 한국의 홈브류 인터넷 (0)
• 1/28/2009 -- 인터넷 뱅킹과 크로스 브라우징 (2)
• 1/23/2009 -- Punbb update (0)
• 1/31/2008 -- problem in fastcgi with apache (2)

하여튼 원인을 알 수 없는고로! 차선책으로 apache watchdog 스크립트를 만들어 넣었습니다.

#!/bin/sh
 
TEST_URL="http://unfix.net/test.html"
 
while [[ `/usr/bin/curl -m 5 -s ${TEST_URL}` != "working" ]];do
    /etc/init.d/apache restart
    sleep 3
done

대략 위와 같은 코드를 사용했는데 아파치를 죽여놓은 후 스크립트를 실행시킬 경우 정상적으로 아파치를 실행시키는 것으로 보아 잘 작동하는 것 같습니다. 휴~

그래도 한 몇일은 좀 신경써서 지켜봐야겠습니다.

Related Posts

• 1/31/2008 -- problem in fastcgi with apache (2)
• 10/19/2006 -- 새 백업 스크립트… (1)
• 4/23/2006 -- backup script 도 작성 완료 -_-v (2)
• 8/26/2006 -- ErrorDocument 수정 (0)
• 1/23/2009 -- Punbb update (0)

#!/bin/sh
 
TMPWATCH="/usr/sbin/tmpwatch"
 
cd /home/member
for member in *;do
    if [[ -d "${member}" ]];then
 
        # get usage
        usage=`du -s "${member}"|awk '{ print $1 }'`
 
        # remain only one item
        if [[ -d "/backup/home/${member}" ]];then
            lastone=`ls -t "/backup/home/${member}" | head -n 1`
            if [[ -f "/backup/home/${member}/${lastone}" ]];then
                touch -m "/backup/home/${member}/${lastone}"
            fi
 
            ${TMPWATCH} --mtime 1 "/backup/home/${member}"
        else
            mkdir -p "/backup/home/${member}"
        fi
 
        # if usage is less than 1.4GB
        if [ ${usage} -le 1400000 ]; then
            tar cfzp "/backup/home/${member}/${member}-`date +%y%m%d`.tar.gz" "${member}"
        fi
    fi
done

또한 ls 와 head, tmpwatch 를 이용해서 백업본이 최신 2 개만이 유지되도록 만들어놓았습니다. 만약 타르볼로 묶는데 1시간 이상 걸리는 용량을 아카이빙 하면 문제가 될 수 있습니다. –;

Related Posts

• 4/23/2006 -- backup script 도 작성 완료 -_-v (2)
• 1/31/2008 -- problem in fastcgi with apache (2)
• 1/2/2007 -- 아파치 안전 장치… (1)
• 2/21/2006 -- msn custom imoticon 백업… (0)
• 1/23/2009 -- Punbb update (0)

shell script 의 고수 분들이야 find 등 도 뭔가 멋지게 쓰고 하는 거 같지만! 전 초보 이기 때문에… 그냥 3일 이상 지난 파일의 경우엔 tmpwatch 가 정리하도록 처리를 해버렸네요… 흐흐

혹시나 제 백업 스크립트가 궁금하신 분들은 more 버튼을 클릭하시길…

#!/bin/sh
 
TMPWATCH="/usr/sbin/tmpwatch"
 
# echo "Backup some config files"
if [[ ! -d "/backup/etc" ]];then
        mkdir "/backup/etc"
fi
 
cd /etc
tar cfzp "/backup/etc/etc-`date +%y%m%d`.tar.gz" \
        apache spamword fstab procmailrc portage make.conf conf.d postfix
 
 
# echo "Backup svn repositories..."
if [[ ! -d "/backup/svn" ]];then
        mkdir "/backup/svn"
fi
 
cd /home/svn
for repo in *;do
 
        # echo "Try to backup /home/svn/$repo"
        if [[ -d $repo ]];then
                tar cfzp "/backup/svn/$repo-`date +%y%m%d`.tar.gz" "$repo"
        fi
 
done
 
 
# echo "Backup aqua's home directory"
if [[ ! -d "/backup/home" ]]; then
        mkdir "/backup/home"
fi
 
cd /home/master
if [[ -d "aqua" ]];then
        tar cfzp "/backup/home/aqua-`date +%y%m%d`.tar.gz" "aqua"
fi
 
 
# echo "Backup Mysql databases"
if [[ ! -d /backup/mysql ]]; then
        mkdir /backup/mysql
fi
 
for database in `echo "show databases"|mysql -uIDforBackup -pPassword`;do
 
        if [[ "$database" == "Database" ]];then
                continue;
        fi
        mysqldump -uIDforBackup -pPassword "$database" > \
                "/backup/mysql/$database-`date +%y%m%d`.sql"
        gzip -f "/backup/mysql/$database-`date +%y%m%d`.sql"
done
 
# echo "Remove the archives which didn't be modified during recent 73 hours"
${TMPWATCH} --mtime 73 /backup
 
# echo "Backup finished..."

Related Posts

• 10/19/2006 -- 새 백업 스크립트… (1)
• 1/31/2008 -- problem in fastcgi with apache (2)
• 1/2/2007 -- 아파치 안전 장치… (1)
• 2/21/2006 -- msn custom imoticon 백업… (0)
• 2/1/2009 -- 이미지 썸브네일 새로 빌드하기… (0)

closetag 는 vim 에서 html 혹은 xml 문서 작업을 할 때 현재 닫힐 차례인 tag를 ctrl – 단축키를 통해 간단하게 입력할 수 있도록 도와주는 플러그인 입니다.

‘emerge closetag’ 를 통해 설치를 하고 난 다음 vim 을 띄우고

<html> blahblah Ctrl-_

를 누르니 마법처럼 </html> 가 입력됩니다… self close tag 가 들어갔을 때 정상적으로 동작을 할까 싶어서 테스트를 해봤더니…

<html> blahblah <img /> Ctrl-_

역시나 마법처럼 </html> 가 입력되는게 아주 만족 스럽군요 :D 알아갈 수록 아름다운 vim 세상입니다…

젠투 유져는 아니지만 관심있으실 분들을 위해 홈페이지 링크를 :)

http://www.vim.org/scripts/script.php?script_id=13

p.s) 메뉴얼에는 컨트롤, _ 로 되어 있지만 실제로는 컨트롤, – 조합으로도 정상적으로 잘 동작합니다.

Related Posts

• 1/29/2009 -- wp-codebox, wp-openid 버그 패치 (4)
• 1/28/2009 -- 번역: 한국의 홈브류 인터넷 (0)
• 1/28/2009 -- 인터넷 뱅킹과 크로스 브라우징 (2)
• 1/24/2009 -- 블로그 업데이트 완료! (11)
• 1/23/2009 -- Punbb update (0)