Bigdata Platform

원문보기 : http://bit.ly/16nFvzG

호튼웍스와 레드햇이 파트너쉽을 맺고 Red Hat Storage 와 HDP 의 통합에 초점을 맞춰 노력중임.

호튼웍스와 레드햇은 하둡과 GlusterFS 같은 파일 시스템의 모니터링 및 운영을 위한 암바리 프로젝트에 첫번째 포커스 영역을 두고있음, 또한 하둡이 POSIX 를 지원하는 스토리지 노드에서 바로 실행될 수 있을 것임. 

이와는 별도로 레드햇은, 완전한 기능을 갖춘 스토리지와 연산솔루션의 통합을 위해 오픈스택 기반의 클라우드 OS 배포판과 Red Hat Storage를 통합중이심.

또한 Mirantis 와 레드햇이 레드햇 오픈스택의 개발을 위하여  Mirantis’ Fuel tools 의 최적화를 위한 솔루션들을 협업하기로 발표함. 

야후에서는 하둡과 스톰의 융합을 위해 노력했고 첫번째 릴리즈를 하게되어 기쁘게 생각함.

Storm-YARN 은 하나의 하둡클러스터에서 Storm 앱들이 HBase 나 HDFS 의 리소스를 이용하는 것을 가능하게 해줌.

1. Motivation

- 스톰과 배치잡의 리소스를 함께 둠으로인해 필요할 때 스톰이 배치잡의 리소스를 활용할 수 있도록 하는 것의 기반을 만드는 것이 필요했음.

- 같은 데이터 처리 파이프라인 내에 MR과 Storm 앱들이 같은 리소스를 활용할 수 있도록 하여 네트웍 트래픽 발생을 줄이는 구성이 필요했음.

2. Launch Storm Cluster

master.initial-num-supervisors 설정을 통해 최초 supervisor 의 갯수를 지정할 수 있음.

master.container.size-mb 설정에 된 사이즈만큼 메모리를 들고 supervisor가 뜸.

Storm-YARN 이 구동되는 방식은 아래와 같음

- storm-yarn 커맨드를 실행하면 YARN's 의 Resource Manager 에게 Storm Application Master 를 실행하기 위한 요청을 함

- YARN container 안에 실행된 Storm Master 가 Storm Numbus와 Storm UI Server를 local 에 실행함.

- Storm Master 가 YARN 을 이용하여 supervisor 들을 실행시키기 위한 리소스를 찾고 실행함

3. Execute Storm Topologies

기존과 비슷하지만 Storm Numbus 가 YARN 에 의해서 노드 하나를 골라서 실행되기 때문에 nimbus.host 설정에 세팅을 해줘야됨.

각각의 Storm worker 프로세스들은 HDFS 나 HBASE 에 저장된 데이터에 엑세스가 가능함.

4. Open Source Release

아래 내용은 Cloudera Blog 글 내용의 제맘대로 요약 내용입니다.

Hadoop과 HBase는 빠르게 업계 표준으로 자리를 잡아가고 있음.

그리하여 많은 개발자들이 Hadoop과 HBase의 API를 가지고 비즈니스 로직 및 기능 구현들 하시느라 많은 시간을 허비 중이심.

빅데이터의 전지전능한 클라우데라가 그들을 위하여 CDK(Cloudera Development Kit)을 제공함.

또한 Kiji 라는 라이브러리는 겁나게 직관적인 Java API와 풍부한 data model을 개발자들에게 제공함으로인해 bytes, serialization, schema evolution 등과 시스템 로우레벨 관점의 별다른 고민없이 머신러닝 알고리즘이나 비즈니스 로직 구현을 쉽게 구현할 수 있도록 도와줌.

요새 기억력이 심각한 수준이기에...

익숙해지기 전까지 어딘가 저장해 놔야겠다;;

cmd + d : 좌우 분할

shift  + cmd + d : 상하 분할

alt + cmd + 방향키 : 분할창 이동

최근 웹에서 서버쪽 데이터 이벤트를 받는 데이터 처리 쪽을 좀 고민하다가...

페이스북 타임라인에 잘 정리된 링크가 올라온 차에 링크...

http://www.ibm.com/developerworks/web/library/wa-reverseajax1/

http://www.ibm.com/developerworks/web/library/wa-reverseajax2/?ca=drs

아직은 안쓰지만...

언젠간 아마존을 쓸날이 올 것 같아서...ㅎㅎㅎ

http://alan.dipert.org/post/55814908/shjs-javascript-syntax-highlighting-for-tumblr

위 링크대로 따라하면...근데 스타일이 좀 맘에 안든다. ㅠ.ㅠ

이클립스 스타일대로 해주면 안되나;;

/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * distributed with this work for additional information * regarding copyright ownership. The ASF licenses this file * to you under the Apache License, Version 2.0 (the * "License"); you may not use this file except in compliance * with the License. You may obtain a copy of the License at * * http://www.apache.org/licenses/LICENSE-2.0 * * Unless required by applicable law or agreed to in writing, software * distributed under the License is distributed on an "AS IS" BASIS, * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. * See the License for the specific language governing permissions and * limitations under the License. */ package org.apache.hadoop.util; import java.io.*; import java.util.Set; import java.util.HashSet; import org.apache.commons.logging.LogFactory; import org.apache.commons.logging.Log; // Keeps track of which datanodes/tasktrackers are allowed to connect to the // namenode/jobtracker. public class HostsFileReader { private static final Log LOG = LogFactory.getLog(HostsFileReader.class); private void readFileToSet(String filename, Set set) throws IOException { File file = new File(filename); if (!file.exists()) { return; } FileInputStream fis = new FileInputStream(file); BufferedReader reader = null; try { reader = new BufferedReader(new InputStreamReader(fis)); String line; while ((line = reader.readLine()) != null) { String[] nodes = line.split("[ \t\n\f\r]+"); if (nodes != null) { for (int i = 0; i < nodes.length; i++) { if (!nodes[i].equals("")) { set.add(nodes[i]); // might need to add canonical name } } } } } finally { if (reader != null) { reader.close(); } fis.close(); } } public synchronized void setExcludesFile(String excludesFile) { LOG.info("Setting the excludes file to " + excludesFile); this.excludesFile = excludesFile; } }