#storm-yarn

야후에서는 하둡과 스톰의 융합을 위해 노력했고 첫번째 릴리즈를 하게되어 기쁘게 생각함.

Storm-YARN 은 하나의 하둡클러스터에서 Storm 앱들이 HBase 나 HDFS 의 리소스를 이용하는 것을 가능하게 해줌.

1. Motivation

- 스톰과 배치잡의 리소스를 함께 둠으로인해 필요할 때 스톰이 배치잡의 리소스를 활용할 수 있도록 하는 것의 기반을 만드는 것이 필요했음.

- 같은 데이터 처리 파이프라인 내에 MR과 Storm 앱들이 같은 리소스를 활용할 수 있도록 하여 네트웍 트래픽 발생을 줄이는 구성이 필요했음.

2. Launch Storm Cluster

master.initial-num-supervisors 설정을 통해 최초 supervisor 의 갯수를 지정할 수 있음.

master.container.size-mb 설정에 된 사이즈만큼 메모리를 들고 supervisor가 뜸.

Storm-YARN 이 구동되는 방식은 아래와 같음

- storm-yarn 커맨드를 실행하면 YARN's 의 Resource Manager 에게 Storm Application Master 를 실행하기 위한 요청을 함

- YARN container 안에 실행된 Storm Master 가 Storm Numbus와 Storm UI Server를 local 에 실행함.

- Storm Master 가 YARN 을 이용하여 supervisor 들을 실행시키기 위한 리소스를 찾고 실행함

3. Execute Storm Topologies

기존과 비슷하지만 Storm Numbus 가 YARN 에 의해서 노드 하나를 골라서 실행되기 때문에 nimbus.host 설정에 세팅을 해줘야됨.

각각의 Storm worker 프로세스들은 HDFS 나 HBASE 에 저장된 데이터에 엑세스가 가능함.

4. Open Source Release