IT ...!

Python 으로 서버의 Disk IO 를 측정/모니터링 해보자.

Perl에서 더 좋은 모듈을 발견하지는 못해서, 일일이 파일 사이즈를 모두 더해서 폴더 사이즈를 구하였다. 그래서 시간이 좀 걸린다.

첫번째 방법

use v5.10; use strict; use warnings; use File::Find; sub get_folder_size { my ($dst_folder) = @_; my $folder_size = 0; find( sub { $folder_size += -f $_ ? -s _ : 0 }, $dst_folder ); return $folder_size; } say "Folder Size : ".get_folder_size("C:\\");

두번째 방법

http://mojoexample.herokuapp.com/ 에 Mojolicious 의 아주 좋은 샘플을 만들어 놓았지만, 2년전에 만들어져서 최신 버전에서 실행하려면 약간의 문제를 일으킵니다. 이를 조금 수정해서 제대로 돌아가게 해보았습니다.

Install MojoExample

$ cpanm -n Mojolicious Modern::Perl DBIx::Class DateTime DateTime::Format::SQLite Time::Duration File::Slurp SQL::Translator $ git clone https://github.com/tempire/MojoExample.git /opt/project/project_name

바로 실행하면 에러가 발생하며, script/mojo_full의 마지막 줄을 아래와 같이 수정해주어야 합니다

... # Mojolicious::Commands->start; # 2012년 버전에는 존재하였으나, 지금(2014년)은 사라짐. Mojolicious::Commands->start_app('MojoFull');

start.sh 생성

# nohup morbo -m production -l http://*:8080 script/mojo_full & morbo -m development -l http://*:8080 script/mojo_full

실행

$ ./start.sh

이번에 Play Framework 2.2.2 가 릴리즈되어, 기존 프로젝트를 업그레이드하였는데, 절차는 다음과 같다.

project/plugins.sbt 버전 변경

play clean-all

play compile

play update

play run

FreeBSD 10.0 이 릴리즈된 기념으로, OS 설치후에 기본적으로 해야할 작업을 정리하였습니다. 기존에 9.1 에서 했던 것과 거의 비슷하고, 패키지 관리프로그램이 전격적으로 바뀐 것이 큰 특징입니다.

sshd 부팅시 자동시작 설정 : /etc/rc.conf

sshd_enable="yes"

sshd_config 수정 / 재시작 : root로 로그인하는 것은 보안상 문제가 있지만, 편의를 위해 일단 이렇게 해놓자.

# vi /etc/ssh/sshd_config PasswordAuthentication yes PermitRootLogin yes # /etc/rc.d/sshd restart 이제, ssh 로 원격 접속한다.

root, toor 계정쉘을 bash로 변경

# pkg install bash; rehash; chsh -s bash root; chsh -s bash toor # ln -s /usr/local/bin/bash /bin/bash

쉘을 바꾸었으니, 로그아웃하고 다시 로그인하자.

Linux Emulation 적용 (htop 에서 Linux 의 /proc 을 이용한다)

# echo 'linux_enable="YES"' >> /etc/rc.conf # kldload linux; pkg install linux_base-f10 # echo 'linproc /compat/linux/proc linprocfs rw 0 0' >> /etc/fstab; mount linproc

필요한 패키지 설치

# pkg install tmux vim-lite ntp gnuls htop git curl wget gnu-watch portupgrade readline sqlite3 libxslt libxml2 openssl gmake

ntpd 적용/실행

# echo 'ntpd_enable="yes"' >> /etc/rc.conf; /etc/rc.d/ntpd start

gnuls alias 적용

# echo 'alias ls="gnuls --color=always"' >> /etc/profile; source /etc/profile

vim 적용

# echo 'alias vi="vim"' >> /etc/profile; source /etc/profile

언어 설정

# echo 'export LANG=ko_KR.UTF-8' >> /etc/profile; source /etc/profile

보안패치

views.py 에서 세션을 참조하려면, 아래와 같이 사용하지만, Template 에서는 같은 문법을 사용할 수 없다.

request.session['세션이름'] = '값'

Template에서 Session을 이용하는 방법을 알아보자.

settings.py 에 다음을 추가한다.

TEMPLATE_CONTEXT_PROCESSORS = ( 'django.core.context_processors.request', )

views.py 에서는 render 함수를 이용해서 리턴한다.

return render(request, 'session_test.html')

Template에서는 아래와 같이 사용한다.

Django 의 내장 authentication 모듈을 사용하지 않는 경우, 직접 제작을 해야 하는데, login_required 라는 데코레이터가 없어서, 매번 View 에서 접근 로직을 작성해주어야 해서 번거로웠다. 아래와 같이 별도의 데코레이터를 작성해두면 로직이 바뀌더라도 하나만 변경하면 되니까 코드 관리가 좀 더 편할 것이다.

히다찌 스토리지에서는 상태점검을 위해서 웹인터페이스를 제공하고 있다. 해당 웹페이지의 메뉴에서 Warning Information 에서 문제가 있으면 로그가 표시되는데, 여기에 아무것도 없으면 장애가 없는 것이고, 뭔가 하나라도 있으면 장애가 있다는 것이다.

해당 페이지의 첫번째 TEXTAREA 태그의 내용을 확인하며 되며, 이를 위해서 WWW::Mechanize 모듈을 사용하였다. 그리고, 장애 발견시 담당자에게 문자를 보내도록 하였다.

Strawberry Perl 5.16.2 에서 테스트하였으며, 사용하는 모듈은 모두 기본으로 내장되어 있어서 별도로 설치할 필요없다.

이번에는 Python 에서 SAN 스위치 장애를 체크하는 스크립트를 만들어보았다. Perl 의 경우와 거의 같다.

Python 2.7.3 에서 테스트하였으며, pymssql 를 별도로 설치해야 한다.

대부분의 네트워크 장비에서는 콘솔로 작업을 할 수 있도록 ssh, telnet 등의 접속을 지원하고 있다. 가장 많이 이용되는 SAN 스위치 중의 하나인 브로케이드(EMC) 의 SAN 스위치에서는 switchstatusshow 명령을 통해서 장비의 상태를 확인할 수 있는데, SwitchState 항목을 체크하면 장비의 전체적인 상태를 알아볼 수 있다. 여기에서는 간단하게 Telnet 으로 접근하여 해당 항목이 HEALTHY 인지 여부에 따라서 정상이 아니면, 담당자에게 문자를 보낼 수 있다록 해보았다.

Strawberry Perl 5.16.2 에서 테스트하였으며, 사용하는 모듈은 모두 기본으로 내장되어 있어서 별도로 설치할 필요없다.

Ruby 에서도 한번 구현해보려고 했는데, 신형 장비(EMC)에는 잘 접속이 되었으나, 구 장비(Brocade)에는 로그인이 제대로 성공하지 못했다.

NetBSD 의 커널을 컴파일하는 방법을 정리해보았다. 같은 BSD 계열이라서 FreeBSD 와도 많이 비슷한 면이 있다.

커널 설정 파일 생성하기

# cd /usr/src/sys/arch/i386/conf/ # cp GENERIC MYKERNEL

커널 수동 빌드

# config MYKERNEL # cd ../compile/MYKERNEL # make depend # make

build.sh 를 사용하여 커널 빌드하기

# cd /usr; mkdir obj; chown root:wsrc obj # cd /usr/src # ./build.sh tools # ./build.sh kernel=MYKERNEL

새로운 커널 설치하기

BSD 계열의 유닉스인 NetBSD 를 설치하고 난 뒤에서 기본적으로 설치/설정할 것들을 정리해보았다. 특징적인 것은 pkgin 이라는 바이너리 패키지 관리도구로 인해서 쉽게 패키지를 설치/업그레이드를 할 수 있어서, Linux 처럼 쉽고 편하게 관리할 수 있다. BSD의 특징인 간단/명료/단순함도 함께 살아있다. 거기에 라이센스도 GPL 이 아닌 BSD 라이센스여서 더욱 자유롭다.

sshd_config 수정 / 재시작 : root로 로그인하는 것은 보안상 문제가 있지만, 편의를 위해 일단 이렇게 해놓자.

# vi /etc/ssh/sshd_config PasswordAuthentication yes PermitRootLogin yes # /etc/rc.d/sshd restart

root, toor 계정쉘을 bash로 변경

# pkgin install bash; chsh -s bash root; chsh -s bash toor # ln -s /usr/pkg/bin/bash /bin/bash

쉘도 다시 설정했으니, 로그아웃하고 다시 로그인하자~!!!

필요한 패키지 설치

# pkgin install tmux vim ntp gnuls htop git curl wget gnu-watch readline sqlite3 libxslt libxml2 openssl gmake python27

Python 설정

# cd /usr/pkg/bin/ # ln -s python2.7 python

/etc/profile 에 PS1 설정

if [ "`id -u`" -eq 0 ]; then PS1="\e[32;1m\]\u@\[\e[35;1m\] \[\e[0m\]\w]# " else PS1="\e[32;1m\]\u@\[\e[35;1m\] \[\e[0m\]\w]$ " fi

gls alias 적용

# echo 'alias ls="gls --color=always"' >> /etc/profile; source /etc/profile

vim 적용

# echo 'alias vi="vim"' >> /etc/profile; source /etc/profile

언어 설정

# echo 'export LANG=ko_KR.UTF-8' >> /etc/profile; source /etc/profile

사용자 추가

'쉽고 빠른 웹개발 Django'은 1.0버전 기준이어서 최신버전 (1.4.3)에서 막히면 진도를 더이상 나갈 수 없게 됩니다. 이에, 최신 버전에서도 진행할 수 있도록 변경된 부분을 반영하여 수정본을 작성해보았습니다. 1.4 이후 부터 디렉토리 구조가 조금 변경이 되었는데, 대부분 이 것 때문에 기존버전과 맞지 않는 부분이 생기는 것입니다. 추후 더 변경할 것이 발견되면 추가하도록 하겠습니다.

P. 15

Before

django_bookmarks/ __init__.py manage.py settings.py urls.py

After

django_bookmarks/ manage.py django_bookmarks/ __init__.py settings.py urls.py wsgi.py

P. 17

Before

DATABASE_ENGINE = 'sqlite3' DATABASE_NAME = 'bookmarksdb' DATABASE_USER = '' DATABASE_PASSWORD = '' DATABASE_HOST = '' DATABASE_PORT = ''

After

DATABASES = { 'default': { 'ENGINE': 'django.db.backends.sqlite3', # Add 'postgresql_psycopg2', 'mysql', 'sqlite3' or 'oracle'. 'NAME': 'bookmarksdb', # Or path to database file if using sqlite3. 'USER': '', # Not used with sqlite3. 'PASSWORD': '', # Not used with sqlite3. 'HOST': '', # Set to empty string for localhost. Not used with sqlite3. 'PORT': '', # Set to empty string for default. Not used with sqlite3. } }

P.30

Before

INSTALLED_APPS = ( 'django.contrib.auth', 'django.contrib.contenttypes', 'django.contrib.sessions', 'django.contrib.sites', 'django_bookmarks.bookmarks', )

After

INSTALLED_APPS = ( 'django.contrib.auth', 'django.contrib.contenttypes', 'django.contrib.sessions', 'django.contrib.sites', 'django.contrib.messages', 'django.contrib.staticfiles', 'bookmarks', )

P. 37

Before

import os.path TEMPLATE_DIRS = ( os.path.join(os.path.dirname(__file__), 'templates'), )

After

import os SETTINGS_DIR = os.path.abspath(os.path.dirname(__file__)) (SITE_ROOT, dummy) = os.path.split(SETTINGS_DIR) TEMPLATE_DIRS = ( os.path.join(SITE_ROOT, 'templates'), )

P. 48

Before

... <form method="post" action="."> ...

After

... <form method="post" action=".">{% csrf_token %} ...

P. 55

Before

import os.path site_media = os.path.join( os.path.dirname(__file__), 'site_media' )

After

import os URLS_DIR = os.path.abspath(os.path.dirname(__file__)) (SITE_ROOT, dummy) = os.path.split(URLS_DIR) site_media = os.path.join(SITE_ROOT, 'site_media')

P. 58

Before

from django import newforms as forms

After

이 튜토리얼에서는 migration 을 사용하지 않고, Model 에서 직접 스키마를 작성하고 Table 을 생성하도록 하였다. 그리고, Ramaze (2012.12.08) 에서 테스트를 진행하였다.

관련 모듈 설치

$ apt-get install libsqlite3-dev sqlite3 $ gem install ramaze sequel thin sqlite3

프로젝트 생성

$ mkdir -p /opt/project/ramaze $ cd /opt/project/ramaze $ ramaze create web

기본 웹서버 변경 -> task/ramaze.rake 에서 :webrick 을 :thin 으로 수정

웹서버 시작 테스트

$ cd /opt/project/ramaze/web $ thin start

db / model 폴더 생성

$ cd /opt/project/ramaze/web $ mkdir -p db $ mkdir -p model

app.rb 에 다음 추가

require 'sequel' # Open the accounts database DB = Sequel.connect('sqlite://db/web.db') # Initialize controllers and models require __DIR__('model/init') require __DIR__('controller/init')

model/init.rb 에 다음 추가

require __DIR__('admin')

model/admin.rb 생성

# coding : utf-8 require 'sequel' class Admin < Sequel::Model(:admins) plugin :schema set_schema do primary_key :id String :login, :unique => true, :empty => false String :password, :empty => false String :name String :email String :mobile_phone String :level, :default => '00' end # Create the database table if it doesn't exists # Also add a admin if ! table_exists? create_table create :login => 'hong', :password => 'hong1234', :name => '홍길동', :email => '[email protected]', :mobile_phone => '010-5555-5555', :level => '00' create :login => 'jang', :password => 'jang1234', :name => '장영실', :email => '[email protected]', :mobile_phone => '010-6666-6666', :level => '01' end end

controller/init.rb 에 다음을 추가

require __DIR__('admin')

controller/admin.rb 생성

class AdminController < Controller map '/admin' def index 'Admin Test' end end

프로젝트를 실행하고 브라우저에서 http://localhost:3000/admin 을 접근해본다.

이제, controller/admin.rb 의 index 를 다음과 같이 변경한다.

def index @admins = Admin.all end

view 디렉토리 생성

$ cd /opt/project/itsm_ramaze/web/view $ mkdir admin

view/admin/index.xhtml 생성

<h1> Admin Test Page </h1> <?r @admins.each do |admin| ?> #{admin.login} #{admin.name} #{admin.email} #{admin.mobile_phone} #{admin.level} <br/> <?r end ?>

ImageMagick 을 이용하여 이미지 파일들을 일괄로 Crop 하는 스크립트이다. ImageMagick 모듈을 이용하지 않고, convert 툴을 이용하여 구현하였다. 이번엔 급한대로 써야 해서 대충했지만, 다음에는 관련 모듈을 이용해서 제대로 해봐야겠다.

관련 모듈

Wand is a ctypes-based ImagedMagick binding library for Python.

PythonMagickWand is an object-oriented Python interface to MagickWand based on ctypes.

PythonMagick is an object-oriented Python interface to ImageMagick.

소스

AJAX 로 동작하는 웹프로그램을 개발하려면, JSON 으로 응답하는 컨트롤러를 작성할 필요가 있다. Ramaze 기본 문서에는 대략만 나와 있어서, 써먹기 어려워서 테스트해보고 다시 정리해본다.

Controller 의 init.rb 에 다음 내용을 추가해준다.

require 'json' # --> 추가된 부분 class Controller < Ramaze::Controller layout :base helper :xhtml engine :etanni provide( :json, :type => "application/json") { |action, val| val.to_json } # --> 추가된 부분 end

Controller 작성 예제

class TestController < Controller map '/test' def action json = {} json['a'] = '1234' json['b'] = '5678' json end end

흔히들 많이 이용되는 Rails 를 안쓰고 Ramaze + Sequel 조합을 시도해 본 이유는 설치되는 모듈이 정말 적기 때문이다. 너무 많은 의존성을 가지게 되면, 시간이 지날 수록 관리하는데 많은 문제를 읽으킨다. 이 때문에, 원래는 python/Django 를 사용했었는데, python 대신 ruby 를 사용하고 싶어서 대체할만한 웹프레임워크를 찾고 있었다. 그러다가, Ramaze + Sequal 이 초간단으로 설치되는 것을 확인하고, 관련 문서를 찾아보고 테스트했지만 Rails 나 Django 처럼 충분한 문서를 제공하지 않더라. 쓸만한 Tutorial 도 없고 해서, 초간단으로 Tutorial 을 만들어보았다.

관련 모듈 설치

$ apt-get install libsqlite3-dev sqlite3 $ gem install ramaze sequel thin sqlite3

프로젝트 생성

$ mkdir -p /opt/project/ramaze $ cd /opt/project/ramaze $ ramaze create web

기본 웹서버 변경 -> start.rb 에서 :webrick 을 :thin 으로 수정

웹서버 시작 테스트

$ ramaze start -s thin or $ ruby start.rb

db 생성

$ cd /opt/project/ramaze/web $ mkdir -p db/migration $ vi db/migration/001_AdminMigration.rb

db/gigration/001_AdminMigration.rb

# Run: # sequel -m db/migration -M 1 sqlite://db/web.db class CreateAdminsTable < Sequel::Migration def up create_table(:admins) do primary_key :id String :login, :unique => true String :password String :name String :email String :mobile_phone String :level end end def down drop_table(:admins) end end

DB Migration

$ sequel -m db/migration -M 1 sqlite://db/web.db

app.rb 에 다음 추가

# coding : utf-8 require 'sequel' # Open the accounts database DB = Sequel.connect('sqlite://db/web.db') # Initialize controllers and models require __DIR__('model/init') require __DIR__('controller/init') # 아래는 처음 실행할 때 한번만 적용하고 주석으로 막아준다. # Admin.create(:login => 'hong', :password => 'hong1234', :name => '홍길동', :email => '[email protected]', :mobile_phone => '010-5555-5555', :level => '00') # Admin.create(:login => 'jang', :password => 'jang1234', :name => '장영실', :email => '[email protected]', :mobile_phone => '010-6666-6666', :level => '01')

model/init.rb 에 다음 추가

require __DIR__('admin')

model/admin.rb 생성

require 'sequel' class Admin < Sequel::Model end

controller/init.rb 에 다음을 추가

require __DIR__('admin')

controller/admin.rb 생성

class AdminController < Controller map '/admin' def index 'Admin Test' end end

프로젝트를 실행하고 브라우저에서 http://localhost:7000/admin 을 접근해본다.

이제, controller/admin.rb 의 index 를 다음과 같이 변경한다.

def index @admins = Admin.all end

view 디렉토리 생성

$ cd /opt/project/itsm_ramaze/web/view $ mkdir admin

view/admin/index.xhtml 생성

<h1> Admin Test Page </h1> <?r @admins.each do |admin| ?> #{admin.login} #{admin.name} #{admin.email} #{admin.mobile_phone} #{admin.level} <br/> <?r end ?>