neigie

Spring boot에서 multi-datasource 활용하기.

목적

대부분의 경우 1개의 datasource를 사용하지만 서비스가 커지고 요구사항에 따라 다른 datasource에 접근해야 할 수 있다.

이를 대비하여 multi-datasource 접속 테스트를 진행한다.

선행 작업 (@see MainRepositoryConfig.java, OtherRepositoryConfig.java, DataSourceProperties.java)

JPA는 EntityManagerFactory 로부터 EntityManager와 TransactionManager를 생성하여 사용해야 한다.

default EntityManager* 를 사용하지 않고 @Transactional 을 설정할 때 마다 transactionManager name을 지정해준다.

과정

DataSourceProperties.java에서 DataSourceBuilder를 이용하여 각각의 properties를 조회, Datasource를 생성한다.

MainRepositoryConfig.java, OtherRepositoryConfig.java 에서 EntityManagerFactory를 생성한다.

각각에 맞는 Datasource 를 injection 하고, entity class가 포함되어 있는 package를 지정한다.

위에서 생성한 EntityManagerFactory를 기반으로 EntityManger, TransactionManager를 생성한다.

주의) default EntityMangaerFactory 등이 생성되지 않으므로 @Primary 를 이용하여 우선순위를 설정해둔다.

해당 설정이 들어있는 class 최 상단에 아래와 같은 annotation을 생성한다.

ex. MainRepositoryConfig.java

@Configuration @EnableTransactionManagement @EnableJpaRepositories(entityManagerFactoryRef = "entityManagerFactoryMain", transactionManagerRef = "transactionManagerMain", basePackages = { "com.sk.prototype.repository.main" }

주의

entity 이름을 명시적으로 지정해주지 않으면 default entityManager가 생성되는데, 이 상황에서는 굳이 쓸 필요가 없다.

DatasourceProperties.java

@Configuration @EnableConfigurationProperties public class DataSourceProperties { @Bean(name = "mainDataSource") @Qualifier("mainDataSource") @Primary @ConfigurationProperties(prefix="spring.datasource.main") public DataSource mainDataSource() { return DataSourceBuilder.create().build(); } @Bean(name = "otherDataSource") @Qualifier("otherDataSource") @ConfigurationProperties(prefix="spring.datasource.other") public DataSource otherDataSource() { return DataSourceBuilder.create().build(); } }

MainRepositoryConfig.java

주의) transactionManger 와 entityManager, entityManagerFactory에 명시적으로 bean name 을 지정하지 않은 경우 injection error가 발생할 수 있으므로 이를 방지하기 위해 @Primary annotation을 붙여준다.

entityManagerFactory를 생성할 때 package를 지정해주게 되어 있는데, 이 곳에 Entity 로 사용하는 java class가 포함되어 있어야 한다. 안 그러면 에러남.

@Configuration @EnableTransactionManagement @EnableJpaRepositories(entityManagerFactoryRef = "entityManagerFactoryMain", transactionManagerRef = "transactionManagerMain", basePackages = { "com.sk.prototype.repository.main" } ) public class MainRepositoryConfig { @Inject private JpaProperties jpaProperties; @Inject @Qualifier("mainDataSource") private DataSource mainDataSource; @Bean(name = "entityManagerMain") @Primary public EntityManager entityManager(EntityManagerFactoryBuilder builder) { return entityManagerFactoryMain(builder).getObject().createEntityManager(); } @Bean(name = "entityManagerFactoryMain") @Primary public LocalContainerEntityManagerFactoryBean entityManagerFactoryMain (EntityManagerFactoryBuilder builder) { return builder .dataSource(mainDataSource) .properties(getVendorProperties(mainDataSource)) .packages("com.sk.prototype.domain.main") .persistenceUnit("mainPersistenceUnit") .build(); } private Map<String, String> getVendorProperties(DataSource dataSource) { return jpaProperties.getHibernateProperties(dataSource); } @Bean(name = "transactionManagerMain") @Primary PlatformTransactionManager transactionManagerMain(EntityManagerFactoryBuilder builder) { return new JpaTransactionManager(entityManagerFactoryMain(builder).getObject()); } }

OtherRepositoryConfig.java

다른 Database에 접근하려는 경우.

@Configuration @EnableTransactionManagement @EnableJpaRepositories(entityManagerFactoryRef = "entityManagerFactoryOther", transactionManagerRef = "transactionManagerOther", basePackages = { "com.sk.prototype.repository.other" } ) public class OtherRepositoryConfig { @Inject private JpaVendorAdapter jpaVendorAdapter; @Inject private JpaProperties jpaProperties; @Inject @Qualifier("otherDataSource") private DataSource otherDataSource; @Bean(name = "entityManagerOther") public EntityManager entityManager(EntityManagerFactoryBuilder builder) { return entityManagerFactoryOther(builder).getObject().createEntityManager(); } @Bean(name = "entityManagerFactoryOther") public LocalContainerEntityManagerFactoryBean entityManagerFactoryOther (EntityManagerFactoryBuilder builder) { return builder .dataSource(otherDataSource) .properties(getVendorProperties(otherDataSource)) .packages("com.sk.prototype.domain.other") .persistenceUnit("otherPersistenceUnit") .build(); } private Map<String, String> getVendorProperties(DataSource dataSource) { return jpaProperties.getHibernateProperties(dataSource); } @Bean(name = "transactionManagerOther") PlatformTransactionManager transactionManagerOther(EntityManagerFactoryBuilder builder) { return new JpaTransactionManager(entityManagerFactoryOther(builder).getObject()); } }

application.yml

spring: # db datasource: main: platform: mysql url: jdbc:mysql://localhost/main-db username: root password: driverClassName: com.mysql.jdbc.Driver other: platform: mysql url: jdbc:mysql://localhost/other-db username: root password: driverClassName: com.mysql.jdbc.Driver

테스트

선행사항

datasource에 맞는 database를 설정한다.

Application.java를 실행한다.

한글 형태소 분석기를 적용하지 않으면 기본적으로 공백 기반의 full indexing을 하기 때문에 원하는 검색 결과가 나오지 않는다.

그리고 이미 data가 존재하는 상황에서는 analyzer를 추가로 설정하는 것을 허용하지 않아서,  index를 삭제 후 재 생성하여 데이터를 수집해야 하는 이슈가 발생하였다. 

그래서, elasticsearch 설치 초반부터 한글 형태소 분석기를 적용한 설정값 및 mapper 추가까지의 설정 방법에 대해 기록해둔다. 

1. elasticsearch 설치

- 나의 경우는 1.2.1 버전으로 설치하였음. 

download 

http://www.elasticsearch.org/overview/elkdownloads/

현재 최신 버전은 1.3.2이다. elasticsearch 버전에 따라 내가 설정한 한글 형태소 분석기 버전도 다르므로 참고.

2. head plugin 설치 

- 거의 필수 플러그인이다. Dashboard 및 현재 데이터 조회 및 간단한 조회를 할 수 있게 만들어준다. 

- 설치  bin/plugin -install mobz/elasticsearch-head

3. 한글 형태소 분석기 libary  설치  mecab (한글 형태소 분석기 library) 설치

mecab-ko ( 한글 형태소에서 사용하는 사전) 설치 

- 아래 링크를 참고하여 설치한다.  https://bitbucket.org/eunjeon/mecab-ko-lucene-analyzer/raw/master/elasticsearch-analysis-mecab-ko/ https://bitbucket.org/eunjeon/mecab-ko-dic

다운로드  wget https://bitbucket.org/eunjeon/mecab-ko/downloads/mecab-0.996-ko-0.9.1.tar.gzwget https://bitbucket.org/eunjeon/mecab-ko-dic/downloads/mecab-ko-dic-1.6.1-20140814.tar.gz

설치 방법  tar xvfz mecab-0.996-ko-0.9.1.tar.gz cd mecab-0.996-ko-0.9.1 ./configure sudo yum install gcc-c++  (컴파일러 오류가 떨어질 경우) make

make check

sudo make install

tar xvfz mecab-ko-dic-1.6.1-20140814.tar.gzcd mecab-ko-dic-1.6.1-20140814./configuremakesudo make install

bin/plugin --install analysis-mecab-ko-0.15.1 --url https://bitbucket.org/eunjeon/mecab-ko-lucene-analyzer/downloads/elasticsearch-analysis-mecab-ko-0.15.1.zip

(elasticsearch 1.2 버전에 맞는 analysis )

 ./configure

make

sudo make install

테스트  mecab -d /usr/local/lib/mecab/dic/mecab-ko-dic wget https://mecab.googlecode.com/files/mecab-java-0.996.tar.gz tar xvfz mecab-java-0.996.tar.gzcd mecab-java-0.996vi Makefile sudo yum install java-1.7.0-openjdk-devel makesudo cp libMeCab.so /usr/local/lib sudo vi /etc/ld.so.conf      내용에 /usr/local/lib 추가 sudo ldconfig elasticsearch 기동 bin/elasticsearch -Djava.library.path=/usr/local/lib

4. index 추가 및 _settings추가

- index 생성  curl -XPUT 'localhost:9200/INDEX_NAME'

index settings 수정을 위해 index close

curl -XPOST 'localhost:9200/INDEX_NAME/_close’

analyzer 추가 

curl -XPUT 'localhost:29200/INDEX_NAME/_settings' -d '{

   "index": {       "analysis": {          "analyzer": {                "korean": {                        "type": "custom",                        "tokenizer": "mecab_ko_standard_tokenizer"                 }           }       }    } }’

index open

curl -XPOST 'localhost:9200/INDEX_NAME/_open’

5. type에 대한 _mapping 설정 추가

- 한글 형태소 분석기 적용된 mapping 추가 

curl -XPUT 'localhost:29200/INDEX_NAME/_mapping/survey' -d '{

     "properties":{    

           "title":{         

                  "type":"string",         

                  "analyzer":"korean"    

          }

    }

}'

6. 데이터 재 수집

- 끝 

세팅값 확인 curl -XGET 'localhost:29200/INDEX_NAME/_settings?pretty=1’

결과 "tillion" : {   

      "settings" : {     

             "index" : {       

                      "uuid" : "MRo8iF8wTkqxl6BQ8GcbNg",       

                       "analysis" : {         

                               "analyzer" : {           

                                       "korean" : {

                                                "type" : "custom",

                                                "tokenizer" : "mecab_ko_standard_tokenizer"           

                                         }         

                                }       

                         },       

                         "number_of_replicas" : "1",

                        "number_of_shards" : "5",       

                       "version" : {         

                               "created" : "1020199"       

                      }     

             }   

      } 

}

매핑값 확인

curl -XGET 'localhost:29200/INDEX_NAME/_mapping?pretty=1’

결과 { 

      "INDEX_NAME" : {   

              "mappings" : {     

                     "project" : {       

                           "properties" : {         

                                 "title" : {           

                                      "type" : "string",           

                                      "analyzer" : "korean"         

                                 }       

                   }     

        }

Monit : monitoring daemon. CentOS에 default로 깔려있음.

  1. 시작 서비스로 등록 - /etc/init.d/SERVICE_NAME

http://lesstif.com/pages/viewpage.action?pageId=6979609 참고.

  /etc/init.d/tomcat7test (service name)

https://gist.github.com/lesstif/f96b2ea2b975b8b16d0e 에서 tomcat-user값과 경로 수정.

  chmod +x /etc/init.d/tomcat7test

[ec2-user@ip-172-31-3-167 ~]$ sudo chkconfig --add tomcat7test

[ec2-user@ip-172-31-3-167 ~]$ chkconfig  --listtomcat7test

tomcat7test     0:해제 1:해제 2:해제 3:활성 4:활성 5:활성 6:해제

  2. /etc/monit/monit.conf (*.conf) 에 모니터링 대상 서비스로 선택

(중략)

#tomcat7-test

check process tomcat7test with pidfile /var/run/tomcat7-test-for-tillion.pid

 start program = "/etc/init.d/tomcat7test start"

 stop program = "/etc/init.d/tomcat7test stop"

 if failed host localhost port 8180 protocol http then restart

(중략)

  3. monit 감시 대상 프로세스로 등록.

- monit 프로세스를 내린 후에 등록 가능하다.

    monit quit

  monit monitor tomcat7test

  monit start all

  ps aux | grep monit

  /etc/init.d/monit start

  ps aux | grep h~ttpd

  4. 해당 tomcat 을 내리고 테스트.

  /var/log/monit 에 아래와 같이 로그가 뜨고, start script 가 실행됨.

[UTC Aug  7 09:07:40] error    : 'tomcat7test' process is not running

[UTC Aug  7 09:07:40] info     : 'tomcat7test' trying to restart

[UTC Aug  7 09:07:40] info     : 'tomcat7test' start: /etc/init.d/tomcat7test

[UTC Aug  7 09:08:11] info     : 'tomcat7test' process is running with pid 29985

  ** daemon 실행주기는 default 60초 입니다.

  ** 추가

- logs dump를 뜨거나 email  전송 등의 script를 추가로 실행하면 될 듯 합니다.

  ** 참고

[현상]

varchar(500)으로 선언된 컬럼에 대해 index를 생성하려고 했더니 아래와 같은 오류 메세지를 확인할 수 있었다.

    index column size too large. the maximum column size is 767 bytes

[원인]

기본적으로 mysql에서는 UTF-8 인코딩에서 varchar(255)가 넘어갈 경우 인덱스를 설정할 수가 없다고 나온다.

[해결책]

해결책이 무엇인고 하니, file_format을 Barracuda로 변경하는 작업을 진행해야 한다.

Barracuda 포맷은 호환성을 유지하는데 유리한 포맷이라고 되어 있으며, 압축 및 BLOB 타입에 대해서도 효율적으로 동작한다고 한다.

따라서 아래와 같이 변경해야 한다.

innodb_file_format=Barracuda

innodb_file_per_table=true

[과정]

그런데, RDS의 경우 바로 변경할 수가 없고 서버 재시작을 해야 한다. 그동안 정상적인 서비스를 할 수 없기 때문에 방법을 찾아보았더니,

AWS RDS CLI (Command Line Interface)를 이용하면 즉시 적용이 가능했다.

RDS CLI 설정 아래 문서를 참고한다.

http://docs.aws.amazon.com/AmazonRDS/latest/CommandLineReference/StartCLI.html

세팅을 하고 DB parameter group 에 접근해본다.

[실제 작업]

# parameter group 이름과 credential file 이름 바꿔서 진행함.

bin/rds-describe-db-parameter-groups pg --region ap-northeast-1 --aws-credential-file credential-file-path.template

DBPARAMETERGROUP  pg  mysql5.6  pg

바꾸고 싶은건 parameter group의 innodb_file_format 속성값이므로 rds-modify-db-parameter-group을 변경하여 진행한다.

# 실제 수행할 땐 parameter group 이름과 credential file 이름 바꿔서 진행함.

bin/rds-modify-db-parameter-group pg -p "name=innodb_file_format, value=Barracuda, method=immediate" --region ap-northeast-1 --aws-credential-file credential-file-path     

# 변경 된 것 확인후

innodb_file_format=barracuda

innodb_file_per_table=true

  정말로 필요한 작업은 대상 테이블의 ROW_FORMAT을 바꾸는 작업이다.

아래와 같이 쿼리를 수행한다.

# altering table 진행

ALTET TABLE table_name ROW_FORMAT=DYNAMIC ; 

# infromation_schema 에서 결과값을 확인한다.

mysql> select table_name, engine, row_format, create_options from tables where table_name = 'survey';

+------------+--------+------------+--------------------+ |

table_name | engine | row_format | create_options

| +------------+--------+------------+--------------------+ |

survey | InnoDB | Dynamic | row_format=DYNAMIC |

  정상적으로 된 것을 확인했으면 실제 추가하고자 하는 인덱스를 생성한다.

# index 추가

START TRANSACTION;

ALTER TABLE survey ADD INDEX `idx_title` (`title`);

ALTER TABLE survey ADD INDEX `idx_question_count` (`question_count`);

ALTER TABLE survey ADD INDEX `idx_created_manager_nickanme` (`created_manager_nickname`);

ALTER TABLE survey ADD INDEX `idx_updated_manager_nickanme` (`updated_manager_nickname`);

COMMIT;

  [롤백 시나리오]

# 원래의 설정값으로 변경

bin/rds-modify-db-parameter-group pg -p "name=innodb_file_format, value=Antelope

, method=immediate" --region ap-northeast-1 --aws-credential-file credential-file-path    

 #원래의 설정값으로 변경

ALTET TABLE table_name ROW_FORMAT=COMPACT;

  [참고 자료]

http://dev.mysql.com/doc/innodb/1.1/en/innodb-other-changes-file-formats.html

https://blogs.oracle.com/mysqlinnodb/entry/innodb_compression_improvements_in_mysql

http://dev.mysql.com/doc/innodb/1.1/en/glossary.html#glos_barracuda

tomcat session clustering을 위해서 session container로서 tomcat-redis-session-manager를 사용하고 있다. https://github.com/jcoleman/tomcat-redis-session-manager 기본 설정 파라미터는 아래와 같다. <Valve className="com.radiadesign.catalina.session.RedisSessionHandlerValve" /> <Manager className="com.radiadesign.catalina.session.RedisSessionManager"          host="localhost" <!-- optional: defaults to "localhost" -->          port="6379" <!-- optional: defaults to "6379" -->          database="0" <!-- optional: defaults to "0" -->          maxInactiveInterval="60" <!-- optional: defaults to "60" (in seconds) --> />

tomcat 서비스가 비정상적으로 종료되는 경우가 가끔 있는데, CloudWatch의 경우 CPU/Memory/Disk등의 알림은 주지만 process 자체에 대한 알림은 주지 않아서 크게 알아보기 힘든 경우가 있다. 

이럴 때를 대비하여 monitoring system에 감시대상-_-으로 등록하고, 해당 port에 대해 응답이 없으면 특정 액션을 하는 스크립트를 작성하기로 하였다. 현재는 재기동만 하도록 되어 있는 상태이다. 지속적으로 기능을 추가할 계획이다.  모니터링 시스템으로서 monit(http://mmonit.com/monit/)을 사용하였으며,  서비스 시작/중지를 위해 chkconfig를 이용하여 서비스를 등록하였다. chkconfig를 이용하여 서비스를 등록하려면, /etc/init.d/ 아래에 스크립트를 작성해야 한다.  따라서 작업 시나리오는 아래와 같다.  1. chkconfig에 등록하기 위한 스크립트 작성.  2. chkconfig 에 시작 스크립트 등록 3. monit 설정파일에 2에서 등록한 스크립트 시나리오 작성 및 모니터링 대상에 추가  4. 테스트  1.  tomcat 등록 스크립트는 구글링을 통해 얻은 후 환경에 맞게 적당히 편집하였다. root가 아닌 계정으로 실행해야 하므로 TOMCAT_USER도 별도로 설정해주었다.  https://gist.github.com/joohee/e864cbb6ad6ec7c0a659 해당 파일을 /etc/init.d/tomcat 이라는 이름으로 등록하였다. 등록해주면 아래와 같이 서비스 시작/정지가 가능하다.  service tomcat start service tomcat stop 2.  chkconfig —add tomcat 명령어를 입력하면 부팅 시 시작할 수 있도록 등록된다.  chkconfig —list tomcat 으로 확인이 가능하다.  3.  monit이 default로 설치되어 있었고, /etc/monit.d/ 아래에 스크립트를 작성하면 monit에서 읽어들인다.  아래와 같이 스크립트를 작성하였다.  [monit.d]$ cat monit-tillion.conf set daemon 90 set httpd port 2812 and     use address localhost     allow localhost #tomcat check process tomcat with pidfile /home/www/tillion/tomcat/temp/tomcat.pid   start program = "/etc/init.d/tomcat start"   stop program = "/etc/init.d/tomcat stop"   if failed host localhost port 8080 protocol http then restart tomcat.pid에 저장된 pid를 가지고 프로세스를 체크하며, 8080포트가 응답하지 않을 경우 restart 명령어를 수행하라는 의미이다 4.  테스트를 위해 일부러 프로세스를 내렸더니 90초 후에 아래 로그를 확인할 수 있었다. (/var/log/monit) [UTC Aug  8 03:12:57] error    : ’tomcadt' process is not running [UTC Aug  8 03:12:57] info     : 'tomcat' trying to restart [UTC Aug  8 03:12:57] info     : 'tomcat' start: /etc/init.d/tomcat [UTC Aug  8 03:12:58] info     : 'tomcat' started [UTC Aug  8 03:14:29] info     : 'tomcat' process is running with pid 31783 이렇게 하여 모니터링 및 자동 재시작 설정이 완료되었다.  추가적으로 수행할 때 로그를 남기거나 메일 발송 스크립트를 추가해도 좋을 듯 하다.  upstart 및 systemd 도 검토해봤는데, 이 설정이 가장 간단한 듯 해서… 단순한 게 좋다. 

스크립트 예제도 다양하게 있으므로 적용하실 분들은 참고.

Automating Maven Project Deployments on AWS Beantalk

참고글 http://www.newvem.com/automating-maven-project-deployments-on-aws-elastic-beanstalk/

가독성 측면에서 난 evernote가 낫다는 생각을...

https://www.evernote.com/shard/s216/sh/729d1c3c-a639-4464-8af3-1b5d95bc0798/811867530a317d57432dd7c5512bfd91

AWS Beanstalk 를 사용하여 웹 어플리케이션 배포

1. Beanstalk 란 무엇인가?

- AWS Elastic Beanstalk는 PaaS로서, 웹 어플리케이션을 빌드/배포하는데 필요한 환경을 제공해주는 PaaS 이다. 이 뿐만 아니라, 모니터링(CloudWatch), 확장성(Auto Scaling)도 자동으로 지원한다.

- 현재 Tomcat, IIS, Node.js, Ruby, Python 등 여러 언어 및 환경으로 제공하고 있다.

2. Beantalk 를 어떻게 사용할 수 있을까?

- 샘플 프로젝트로서 여기에서는 Java 프로젝트를 사용하였다.

- tomcat 위에 war 파일을 배포할 수 있도록 모든 플랫폼을 제공해준다고 보면 된다.

- 실제 배포는 손으로 해야 함!

- maven 을 사용하고 있으므로 maven의 war package 사용

- maven 에 beanstalk-maven-plugin 사용하면 직접 배포 “준비” 가능.

2-1. beanstalk 설정을 해볼까?

1) Amazon Command Line Tool 사용

2) https://console.aws.amazon.com/elasticbeanstalk/ 에서 처리

여기에서 알고 가야 할 용어 두 가지를 짚고 넘어간다. 

Application과 Environment

1. Application의 개념

- Applicaton은 모든 것을 포함하는 개념이다. 환경, 버전, 저장된 설정 등.

2. Environment

- 배포 및 서버 구동을 위해 필요한 AWS 자원들을 한 데 감싼 것(wrapping) 이다.

3. Application은 여러 개의 Environment를 가질 수 있다.

elastic beanstalk를 설정하였을 때 구조도. 

2-2) 설정 방법

- 사실 매뉴얼이 너어어어어무 잘 나와 있어서 굳이 넣을 필요 없지만, 그래도 한국말로 써놓는게 훨씬 좋으니.

여기서 간단히 설정만으로 application을 생성할 수 있다. 더 자세한 옵션을 선택할 수도 있다.

선택 후 Get Started 버튼을 클릭하면 아래와 같이 나타난다.

이번 예제는 Tomcat을 선택하였다. Default로 설치되는 버전은 Tomcat 7, Java 7이다.

선택하면 아래와 같은 대시보드가 나타나고, Application에서 필요한 Environment가 순서대로 생성되는 걸 바로 확인할 수 있다.

순서는 아래와 같다.

1. CloudWatch Alarm 생성 (High/Low)

2. EC2 instance 생성 (default는 t1.micro)

Load Balancing, auto scaling 및 80 port forwarding도 자동으로 생성해주고,

applicaiton-name.elasticbeanstalk.com 이라는 도메인도 자동 생성해줘서 웹 어플리케이션을 배포하면 바로 URL로 접근할 수 있다.

CloudWatch 설정 및 EC2 설정은 각자 서비스 console web 에서 하면 된다.

Load Balancing, Auto Scaleing 설정 페이지는 beanstalk 설정 페이지에 포함되어 있다.

3. 배포는 어떻게 하면 되는가?

몇 가지 방법이 있다.

1) Amazon Command Line Tool 이용

- http://aws.amazon.com/code/6752709412171743

- PATH에 넣고 eb 커맨드를 실행하여 설정할 수 있다.

2) Console 웹에서 직접 업로드

- war 파일 직접 업로드가 가능하다.

3) maven plugin 사용

- beanstalk-maven-plugin 을 설정하면 가능하다.

- Amazon Beanstalk API 를 wrapping한 maven plugin 이다. http://beanstalker.ingenieux.com.br/beanstalk-maven-plugin/

아, 물론 ant/grails에서도 사용 가능하다.

http://beanstalker.ingenieux.com.br/beanstalk-maven-plugin/dependency-info.html

4. beanstalk-maven-plugin 이 어디까지 지원해주는가?

- 사용 가능한 dns 이름 체크

- application 생성/업데이트/삭제

- environment 업데이트

등 설정 뿐만 아니라 실제로 web application 파일을 배포하는 데 사용하는 명령어를 제공하고 있다.

- upload resource : S3 bucket 으로 war 파일 업로드

- application version 정보 생성

- environment 업데이트

[주의] 업데이트 된 환경을 deploy하지는 않는다. deploy는 console에서 하거나 CLI 를 이용해서 따로 해야한다.

5. beanstalk-maven-plugin 설정 예제

~/.m2/settings.xml

pom.xml에서 해도 되지만 권장하지 않는다. 

<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0"

xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0

http://maven.apache.org/xsd/settings-1.0.0.xsd">

<profiles>

<profile>

<id>default</id>

<properties>

<aws.accessKey>YOUR_AWS_ACCESS_KEY</aws.accessKey>

<aws.secretKey>YOUR_AWS_SECRET_KEY</aws.secretKey>

</properties>

</profile>

</profiles>

<activeProfiles>

<activeProfile>default</activeProfile>

</activeProfiles>

</settings>

pom.xml

global 설정과 plugin 설정이 있다. 

<properties>

<maven.build.timestamp.format>yyyyMMddHHmmss</maven.build.timestamp.format>

<beanstalk.versionLabel>${maven.build.timestamp}</beanstalk.versionLabel>

</properties>

<plugin>

<groupId>br.com.ingenieux</groupId>

<artifactId>beanstalk-maven-plugin</artifactId>

<version>1.1.1</version>

<configuration>

<applicationName>glance-was-20140113</applicationName>

<cnamePrefix>glance-was-20140113</cnamePrefix><!-- cnamePrefix.elasticbeanstalk.com -->

<environmentName>glanceWas20140113-env</environmentName>

<region>us-west-1</region>

<s3Bucket>elasticbeanstalk-glance-was-20140113</s3Bucket>

<s3Key>${project.artifactId}/${project.build.finalName}-${maven.build.timestamp}.war</s3Key>

</configuration>

</plugin>

6. 사용 방법

- mvn beanstalk:upload-source-bundle beanstalk:create-application-version beanstalk:update-environment

- 이렇게 하면 아래와 같이 동작한다.

beanstalk:upload-source-bundle : war upload

beanstalk:create-application-version : 버전 정보 기록

beanstalk:update-environment : 기존에 만들어놓은 환경 설정

[INFO] [beanstalk:upload-source-bundle {execution: default-cli}]

[INFO] Target Path: s3://elasticbeanstalk-glance-was-20140113/glance/glance-was-snapshot-20140114144704.war

[INFO] Uploading artifact file: /Users/neigie/Dev/works/glance_was/target/glance-was-snapshot.war

100.00% 33 MiB/33 MiB Done

[INFO] Artifact Uploaded

[INFO] [beanstalk:create-application-version {execution: default-cli}]

[INFO] SUCCESS

[INFO] * sourceBundle: {S3Bucket: elasticbeanstalk-glance-was-20140113, S3Key: glance/glance-was-snapshot-20140114144704.war, } [class: S3Location]

[INFO] * versionLabel: 20140114144704 [class: String]

[INFO] * description: Update from beanstalk-maven-plugin [class: String]

[INFO] * applicationName: glance-was-20140113 [class: String]

[INFO] * dateCreated: Tue Jan 14 14:47:32 KST 2014 [class: Date]

[INFO] * dateUpdated: Tue Jan 14 14:47:32 KST 2014 [class: Date]

[INFO] [beanstalk:update-environment {execution: default-cli}]

[INFO] Looking up for glance-was-20140113.elasticbeanstalk.com

[INFO] Will wait until Tue Jan 14 14:49:33 KST 2014 for environment e-3amtfsmdxp to get into !Updating

[INFO] ... as well as having domain glance-was-20140113.elasticbeanstalk.com

[INFO] Environment Detail:com.amazonaws.services.elasticbeanstalk.model.EnvironmentDescription@73c2a0d9[environmentName=glanceWas20140113-env,environmentId=e-3amtfsmdxp,applicationName=glance-was-20140113,versionLabel=20140113125505,solutionStackName=64bit Amazon Linux 2013.09 running Tomcat 7 Java 7,templateName=<null>,description=glanceWas20140113-env,endpointURL=awseb-e-3-AWSEBLoa-1CLLKCE71CTNA-2019779659.us-west-1.elb.amazonaws.com,cNAME=glance-was-20140113.elasticbeanstalk.com,dateCreated=Mon Jan 13 11:47:39 KST 2014,dateUpdated=Tue Jan 14 14:43:08 KST 2014,status=Ready,health=Green,resources=<null>]

[INFO] SUCCESS

요약

[INFO] * versionLabel: 20140113125505 [class: String]

[INFO] * status: Updating [class: String]

[INFO] * applicationName: glance-was-20140113 [class: String]

[INFO] * endpointURL: awseb-e-3-AWSEBLoa-1CLLKCE71CTNA-2019779659.us-west-1.elb.amazonaws.com [class: String]

[INFO] * health: Grey [class: String]

[INFO] * dateUpdated: Tue Jan 14 14:47:34 KST 2014 [class: Date]

[INFO] * environmentId: e-3amtfsmdxp [class: String]

[INFO] * solutionStackName: 64bit Amazon Linux 2013.09 running Tomcat 7 Java 7 [class: String]

[INFO] * CNAME: glance-was-20140113.elasticbeanstalk.com [class: String]

[INFO] * description: glanceWas20140113-env [class: String]

[INFO] * dateCreated: Mon Jan 13 11:47:39 KST 2014 [class: Date]

[INFO] * environmentName: glanceWas20140113-env [class: String]

[INFO] ------------------------------------------------------------------------

[INFO] BUILD SUCCESSFUL

[INFO] ————————————————————————————————————

반영된 화면

- 화면을 보면 알수 있듯이 특정 버전을 찍어서 deploy 버튼을 누르면 반영된다.

- 반영되는데 대략 5~10분 정도 걸리는 듯 하다.

7. 추가로 할 것은 무엇인가?

- DB가 필요하다면 RDS 를 생성하면 된다.

- DB의 경우는 프로젝트 별로 워낙 상이하여 default환경에는 포함하지 않았다고 기술되어 있다.

- 실제로 auto scaling이 되는지, CloudWatch는 동작하는 지 서비스를 계속 써봐야 알 듯 하다.

8. 도메인을 당연히 바꿔야 할텐데?

- AWS Route 53을 써서 forwarding 가능.

- http://aws.amazon.com/ko/route53/

tumblr 편집기는 참 쓰기 힘들다. -_-)a 

의도

 세상이 좋아져서 배포하는 방법도 많고 사용하기 좋은 사이트/도구들도 많아졌기 때문에 정답은 없지만, codeship 블로그에서 소개한 방법으로 테스트 해 보니 commit 한 번으로 빌드/테스트/배포 후 public website로 접근이 가능해져서 개인 프로젝트에 적용해보기로 하였다. 실제로는 개인 프로젝트 뿐만 아니라 회사 내에서 프로젝틀 할 때도 상용 직전의 배포 전까지 사용해도 될 듯 싶었다. 특히 1인 개발인 경우 개발 자체에만 집중하기에도 부족하기 때문에 빌드/배포 관련해서는 미리 세팅해두고 싶었다.

Bitbucket - Mercurial/Git 버전 관리 시스템을 사용하는 웹 기반 호스팅 서비스이다. - Bitbucket은 원래 독립 프로젝트였으나 2010년 9월에 Atlassian 에 인수되었다. - Collaborative revision control을 표방하고 있다. - 개인 사용자에 대해 private repository 를 5개까지 사용할 수 있다. 그래서 github쓰다가 가끔 bitbucket도 쓰고 그런다. - 더 자세한 설명은 http://en.wikipedia.org/wiki/Bitbucket Heroku - 클라우드 애플리케이션 플랫폼이며 웹서비스를 빌드 배포를 제공하는 새로운 방법이다. 배포, 실행, 관리를 담당하고 Ruby, Node.js, Java, Python, Clojure, Scala를 지원한다. - 애플리케이션 개발자가 코딩하는 데에만 집중할 수 있게 도와주는 역할을 한다. 서버 관리, 배포, 운영, 스케일링 (확장) 등은 우리가 알아서 할게! 가 컨셉이다. Codeship - https://angel.co/codeship - http://mashable.com/2013/10/01/hot-european-startups/ - https://devcenter.heroku.com/articles/codeship - Heroku에서도 addon으로 제공하고 있으며, CLI(Command Line Interface/Client)를 이용하여 실행 가능하다. - codeship에서는 Continuous Deployment를 여러 언어에 걸쳐 제공하고 있다. 방법

.... 이미지 첨부하다가 속 터질거 같아서 evernote링크를 공유하니 여기를 보시길. -_-)

https://www.evernote.com/shard/s216/sh/2edf6898-f2af-4d77-9f90-e3fd83856aeb/d1b02ed82c97b4db64710a048b27b8aa

결론 런칭 직전 테스트/빌드 테스트 및 배포 환경까지 마련하여 베타 테스트까지는 이 방식으로 해도 괜찮겠다 싶었다. 무엇보다 커밋 한방에 public server 로 반영되니 수정사항 체크 및 테스트도 할 수 있어서 더욱더 견고한 소프트웨어를 만들 수 있고, 이 방식을 한번 세팅해놓으면 개발자는 정말 개발에만 집중하면 되겠다 싶었다. 마음만 먹으면 빌드/배포/테스트 환경 구축을 만들 수 있는 방법은 얼마든지 있으니, 이제 서비스를 만들러 가자~ 원문 http://blog.codeship.io/2013/10/02/how-to-deploy-a-ruby-on-rails-app-from-bitbucket-to-heroku.html 원제: How to depoy a ruby on rails app from bitbucket to heroku troubleshooting      1. heroku에서는 sqlite3을 지원하지 않으므로 DB 를 PostgreSQL로 변경한다.      http://robdodson.me/blog/2012/04/27/how-to-setup-postgresql-for-rails-and-heroku/      2. Rails 4 를 이용하기 위해선 아래 업그레이드 가이드에 따라야 한다. asset에 접근하기 위해 아래 gem 추가 설치.

    gem 'rails_12factor', group: :production

    1번에서 언급했듯이, PostgreSQL gem 설치.

    gem'pg'        

    Rails 4버전으로 업그레이드 한 후 아래 커맨드를 build 스크립트에 추가.

    rake rails:update:bin https://devcenter.heroku.com/articles/rails4

여담 1. 아, 물론 bitbucket-heroku만 연결할 순 있지만 Heroku CLI를 사용해야 하기 때문에 조금 더 번거로울 수 있겠다. 

https://toolbelt.heroku.com/

들어가며

사실 난 파이썬이라는 언어가 좋다. 이유 없이 그냥 좋았다. 어감도 좋고 indent를 지키지 않으면 에러를 뱉는 도도함(이라고 난 생각함)도 좋았다. 그래서 bash shell로 구현하는 것들도 나중엔 반드시 파이선으로 다시 짜야지 라고 다짐하면서 생각을 놓지 않았지만 그에 비해 써먹을 일이 많이 없었던 것 같다.

그 와중에 매일 600MByte 를 다운 받아서 전날 다운받은 XML 파일에서 id 값을 추출하여 전날 없는 id의 경우는 DB에서 삭제해야 하는 경우가 발생하였다. 현재 사용하고 있는 플랫폼은 Spring-Batch이고 어찌보면 이 작업은 일괄 작업이라고 보기 어려운데다가 text file 처리는 아무래도 script language가 훨씬 빨랐던 경험이 있어서 이번에 python 을 활용하여 써먹어보기로 마음 먹었다.

요구사항

몇 차례에 걸쳐 요구사항은 달랐지만 최종적으로는 아래와 같다. - 파일 다운로드 (일 1회) - xml -> csv 변경 - 어제 파일와 오늘 파일 비교하여 없는 id 값 추출 - S3 저장 (실제로 삭제하므로 나중에 추적을 위함)

파일 다운로드

파일 다운로드의 경우 처음엔 Spring-Batch에서 HttpClient를 이용하여 바로 읽으려고 했으나 OOM발생-_-으로 인해 마음을 접고, download와 batch 작업을 분리하기로 하였다. python에서는 HttpRequest를 보낼 때 urllib, urllib2, requests 모듈을 보통 사용하는 듯 했고, 코드는 아래와 같다.

#!/usr/env/python # coding: utf8 import urllib import urllib2 import requests import os import sys from datetime import date, datetime url = '...' def download(prefix): print 'download ', prefix filename = prefix + '-' + str(date.today()) + '.xml' urllib.urlretrieve(url, filename) def download2(prefix): print 'download ', prefix filename = prefix + '-' + datetime.now().strftime('%Y-%m-%d_%H:%M:%S') + '.xml' f = urllib2.urlopen(url) data = f.read() with open(filename, 'wb') as code: code.write(data) def download3(prefix): print 'download ', prefix filename = prefix + '-' + datetime.now().strftime('%Y%m%d') + '.xml' resp = requests.get(url, stream=True); with open(filename, 'wb') as f: for chunk in resp.iter_content(chunk_size=2**12): if chunk: f.write(chunk) f.flush() os.fsync(f.fileno()) if __name__ == '__main__': if len(sys.argv) < 2: print 'usage: python download.py [prefix]' exit() import timeit print (timeit.timeit(stmt="download(sys.argv[1])", setup="from __main__ import download", number=1)) print (timeit.timeit(stmt="download2(sys.argv[1])", setup="from __main__ import download2", number=1)) print (timeit.timeit(stmt="download3(sys.argv[1])", setup="from __main__ import download3", number=1))

테스트를 해보니 시간은 크게 차이가 나지 않았다. 파일을 다운로드 하는 동안 urllib를 사용한 download()의 경우 응답이 온 경우 바로 file에 append를 하였고, urllib2를 사용한 download2()의 경우 버퍼에 저장했다가 바로 쓰고 있었다.

파일 비교

사실 다운받는 파일 포맷이 xml 인지라 어떻게 비교할 지 고민하다가, 나의 경우는 (학습 겸 해서) xml 을 csv로 일단 변환하고, id값이 되는 key의 value를 맨 앞으로 붙여서 두 개의 output을 생성해 보았다. 그 코드는 아래와 같다.

#!/usr/env/python # coding: utf8 from lxml import etree import sys from diff import diff from datetime import date, timedelta def read(prefix): print sys.stdout.encoding input_xml = "" today = date.today()# - timedelta(days=1) dateval = today.strftime('%Y%m%d') infile = prefix + '-' + dateval + '.xml' outfile = prefix + '-' + dateval + '.csv' try: input_xml = etree.parse(infile) except Exception, e: log = e.error_log.filter_from_level(etree.ErrorLevels.FATAL) print(log) pass print "error_count", error_count pb = input_xml.getroot() prdlist = pb.findall('products/product') f = open(outfile, 'w') f_filtered = open(outfile + '.filtered', 'w') products = [] prdcodes = [] for prd in prdlist: product = "" prdcode = "" for child in prd.getchildren(): if child.tag == 'prdcode': # 맨 앞으로 붙인다. product = "%s%s%s" % (child.text, "," , product) prdcode = child.text try: if (type(child.text) == unicode): text = "%s%s%s" % ("\"", child.text, "\"") text = '' else: text = child.text product = "%s%s%s" % (product, ',', text) except Exception, e: product = "%s%s", (product, ',') #print product #f.write(product.encode('utf-8') + '\n') #f_filtered.write(prdcode.encode('utf-8') + '\n') products.append(product) prdcodes.append(prdcode) sorted(products) sorted(set(prdcodes)) f.writelines( "%s\n" % item.encode('utf-8') for item in products ) f_filtered.writelines( "%s\n" % item.encode('utf-8') for item in prdcodes ) f.close() f_filtered.close() if __name__ == '__main__': print sys.argv if len(sys.argv) < 2: print "usage: python xml_to_csv.sh [prefix]" else: import timeit print (timeit.timeit(stmt="read(sys.argv[1])", setup="from __main__ import read", number=1))

이렇게 만든 파일을 가지고 diff를 수행해서, - 인 경우 (src 파일에는 존재하나 target에는 존재하지 않는 값)을 별도로 추출하였다.

#!/usr/env/python # coding: utf-8 import sys import difflib import re from datetime import date, timedelta def diff(prefix): today = date.today() yesterday = today - timedelta(days=1) file1 = prefix + '-' + yesterday.strftime('%Y%m%d') + '.csv.filtered' file2 = prefix + '-' + today.strftime('%Y%m%d') + '.csv.filtered' print file1, file2 write_to_file(file1, file2, prefix, 'deleted', r'-\d') def write_to_file(file1, file2, prefix, property, regex): f1 = open(file1, 'U') fromlines = f1.readlines() f2 = open(file2, 'U') tolines = f2.readlines() filename = prefix + '-' + property + '-' + date.today().strftime('%Y%m%d') + '.csv' print 'write diff to ', filename outputfile = open(filename, 'w') for line in difflib.unified_diff(fromlines, tolines, f1, f2): match = re.match(regex, line, re.M|re.I) if match: #print line outputfile.write(line[1:len(line)]) if __name__ == '__main__': if (len(sys.argv) < 2): print "usage: python diff.py [prefix]" exit() import timeit timeit.timeit(stmt='diff(sys.argv[1])', setup='from __main__ import diff', number=1)

이때는 difflib.unified_diff를 사용하였고, -가 붙은 라인만 추출하여 나중에 정말로 삭제할 id만을 deleted-날짜.txt에 기록하였다. -가 붙어있으면 src에는 있으나 target에는 없으니 삭제되었다는 의미이고, 반대로 +이면 src에는 없지만 target에는 있다는 의미이므로 신규 데이터라고 보면 되겠다.

s3 업로드

자, 이제 다른 프로젝트에서도 사용할 수 있도록 하기 위해 + 로그 용도를 위해 s3로 업로드까지 구현하였다. 코드는 아래와 같다.

#!/usr/env/python #coding: utf8 # https://derrickpetzold.com/p/upload-files-to-s3-with-progessbar/ from boto.s3.connection import S3Connection from boto.s3.key import Key import timeit from datetime import date, timedelta import os import sys import optparse import progressbar import time aws_key = '...' aws_secret_key = '...' pbar = None def sizeof_fmt(num): for x in ['bytes','KB','MB','GB','TB']: if num < 1024.0: return "%3.1f%s" % (num, x) num /= 1024.0 def progress_callback(current, total): try: pbar.update(current) except AssertionError, e: print e def s3(bucket, filename, reduced_redundancy=False): global pbar k = Key(bucket) k.key = filename size = os.stat(filename).st_size if size == 0: print 'Bad filesize for "%s"' % (filename) return 0 widgets = [ unicode(filename, errors='ignore').encode('utf-8'), ' ', progressbar.FileTransferSpeed(), ' <<<', progressbar.Bar(), '>>> ', progressbar.Percentage(), ' ', progressbar.ETA() ] pbar = progressbar.ProgressBar(widgets=widgets, maxval=size) pbar.start() try: k.set_contents_from_filename( filename, cb=progress_callback, num_cb=100, reduced_redundancy=reduced_redundancy, ) except IOError, e: print e return 0 pbar.finish() return size def do_upload(prefix): conn = S3Connection(aws_key, aws_secret_key) print conn today = date.today() yesterday = today - timedelta(days=1) filenames = [] rawfile = prefix + '-' + today.strftime('%Y%m%d') + '.xml' filenames.append(rawfile) deletefile = prefix + '-deleted-' + today.strftime('%Y%m%d') + '.csv' filenames.append(deletefile) bucket = conn.get_bucket('styletag-batch') stime = time.time() total_bytes = 0 count = 0 for filename in filenames: print 'upload ', filename size = s3(bucket, filename) total_bytes += size count += 1 #print '%s files %f at %.2f kb/s', count, sizeof_fmt(total_bytes), (total_bytes / 1024)/time.time() - stime filenames.append(prefix + '-' + yesterday.strftime('%Y%m%d') + '.csv') # 오늘 것은 지우면 안됨 - 내일 비교해야 함. for filename in filenames: print 'delete ', filename os.remove(filename) if __name__ == '__main__': if len(sys.argv) < 2: print 'usage: python upload.py [prefix]' exit() do_upload(sys.argv[1])

AWS SDK for python 인 boto 모듈을 설치하였고, 사용법은 참으로 간단하다. 코드가 길지만, 저장 자체만으로는 아래 코드로도 충분하다. 물론, aws_key와 aws_secret_key 설정은 필수 :)

from boto.s3.connection import S3Connection from boto.s3.key import Key aws_key = 'your-aws-key' aws_secret_key = 'your-aws-secret-key'

[MySQL] INSERT IGNORE 시 auto_increment 가 불필요하게 증가하는 이슈.

출처

http://stackoverflow.com/questions/7087869/mysql-insert-on-duplicate-update-adds-one-to-the-autoincrement/7100901#7100901

상황

mysql 에서만 존재하는 INSERT IGNORE & INSERT … ON DUPLICATE UPDATE 문법을 사용하여 상품 데이터를 INSERT/UPDATE 하고 있는데 auto_increment로 지정된 PK값이 실제로 insert되는 rows에 비해 비정상적으로 증가하는 이슈가 있었다.

정확히는 이슈라기 보다, 좀 거슬리는 것에 가깝긴 했지만 어쨌든 해결하는 게 좋을 듯 했다.

원인 분석

INSERT … ON DUPLICATE KEY UPDATE 는 mixed-mode insert 라고 하여, 기본적으로 InnoDB auto_increment 은 증가할 수 있는 최대값 (다시 말해 last_id + 최대로 insert 될수 있는 값)으로 업데이트 된다고 한다.

MySQL에서는 아래와 같이, InnoDB에서는 실제로 insert 될 값보다 더 크게 auto_increment값을 잡아놓는다고 한다. 그리고 실제로 insert 된 값보다 커진 auto_increment 에 해당하는 숫자는 실질적으로 버려지는 것이다.

...for “mixed-mode inserts”... InnoDB will allocate more auto-increment values than the number of rows to be inserted. However, all values automatically assigned are consecutively generated (and thus higher than) the auto-increment value generated by the most recently executed previous statement. “Excess” numbers are lost.

이에 대한 해결책

INSERT … ON DUPLICATE KEY UPDATE 를 쓰지 않는다.

InnoDB 의 innodbautoinclock_mode 값을 0으로 변경한다.

Set the innodb_autoinc_lock_mode parameter to 0, for "traditional" autoincrement lock mode, which guarantees that all INSERT statements will assign consecutive values for AUTO_INCREMENT columns. However, this is accomplished by locking during the statement, so there's a performance loss associated with this setting.

AUTO_INCREMENT 컬럼에서의 차이 자체를 무시하면 된다. (증가한 값 그냥 무시하면 될지도…)

메뉴얼에는?

http://dev.mysql.com/doc/refman/5.1/en/innodb-auto-increment-handling.html

innodbautoinclock_mode = 0 (“traditional” lock mode) 으로 설정

lock mode 변경을 통해 미리 auto_increment 값을 계산하지 않고, 전부 수행될 때 까지 락을 잡고 있도록 한다. Performance loss가 있을 수 있다. auto_increment값에 대한 lock을 쿼리 수행 시간동안 잡고 있기 때문이다.

내 경우

batch job 이 시간당 수십 개씩 돌고 있기 때문에 무시할 수 있는 범위는 아니라서 InnoDB 설정을 변경하였다.

출처

http://guides.rubyonrails.org/active_record_querying.html#eager-loading-associations

상황

요즘 회사 일 때문에 어쩌다보니 rails의 세계에 들어오게 되었는데, 알고보니 꽤나 자주 겪는 실수? 중 하나에 대해 rails guide에도 나와 있어서 번역 비슷하게 기록해둔다.

rails에는 eager loading 이라는 개념이 들어가 있는데, eager loading이란 lazy loading의 반대 개념으로서 최대한 쿼리를 적게 수행하여 Model.find을 리턴하여 관계가 있는 데이터를 로딩하는 기법이라고 한다.

Eager loading is the mechanism for loading the associated records of the objects returned by Model.find using as few queries as possible.

Client라는 모델은 Address라는 모델과 관계를 가지고 있는 상태고, 아래와 같이 코드를 수행하면 Client 및 Address 데이터를 가져올 수 있는 상태가 된다.

clients = Client.limit(10)

이후 controller/view에서 수행하면 현재는 Address모델의 실제 데이터를 가져온 상태가 아니므로, 가져온 갯수 만큼 query를 수행하게 되는 것이다.

The above code executes 1 (to find 10 clients) + 10 (one per each client to load the address) = 11 queries in

코드 예제는 아래와 같다. (10번의 address.postcode를 조회하는 쿼리가 수행되는 로그를 확인할 수 있음. )

clients.each do |client| puts client.address.postcode end

해결

간단하다. includes를 이용하여 관계(association) 있는 데이터를 모두 가져오면 된다. rails의 Active Record에서는 관계있는 모델의 데이터를 미리 가져올 수 있도록 문법을 제공하고 있다.

Active Record lets you specify in advance all the associations that are going to be loaded.

코드는 아래와 같이 수행하면 된다.

clients = Client.includes(:address).limit(10) .... clients.each do |client| puts client.address.postcode end

이렇게 코드를 수행하면 기존의 11번 query -> 2번의 query로 끝나는 것을 알 수 있다.

AWS EC2 instance 설치

m1.small 로 설치하라지만 지금은 테스트이므로 micro 로 셋업.

접속까지 정상적으로 되었다고 가정. 이후 설정은 sudo 권한이 필요하므로 root가 되거나 sudo 를 앞에 붙여서 실행해야 함.

Apache Webserver 설치

yum install httpd

아파치 웹서버 시작 service httpd start

테스트 http://ec2-xx-xx-xx-xx.compute-1.amazonaws.com 접속 확인

PHP 설치

yum install php php-mysql

아파치 웹서버 재시작 service httpd restart

정상적으로 설치 되었는지 확인하는 방법 cd /var/www/html vi test.php

test.php 안에 아래 내용 입력, 저장.

테스트 http://ec2-xx-xx-xx-xx.compute-1.amazonaws.com/test.php 접속, php 정보 나오는지 확인.

MySQL 설치

yum install mysql-server

MySQL 시작 service mysqld start

blog database 생성 mysqladmin -uroot create blog

데이터베이스 보안 설정 mysql_secure_Installation 입력

아래와 같이 대답 후 설정

Enter current password for root: Press return for none Change Root Password: Y New Password: Enter your new password Remove anonymous user: Y Disallow root login remotely: Y Remove test database and access to it: Y Reload privilege tables now: Y Step 7: Install WordPress

WordPress 설치

cd /var/www/html wget http://wordpress.org/latest.tar.gz tar -xzvf latest.tar.gzcd

이후 wordpress 디렉토리가 생성되고, 이름 변경. mv wordpress blog

WordPress 설정

wp-config.php 생성 cd blog mv wp-config-sample.php wp-config.php vi wp-config.php

아래 내용으로 수정 후 저장 define(‘DB_NAME’, ‘blog’); define(‘DB_USER’, ‘root’); define(‘DB_PASSWORD’, ‘YOUR_PASSWORD’); define(‘DB_HOST’, ‘localhost’);

테스트

http://ec2-xx-xx-xx-xx.compute-1.amazonaws.com/blog 접속. 정상적으로 접근 되었으면 wordpress 설정 페이지가 나온다.

참고

설치 http://www.javacodegeeks.com/2012/01/hadoop-modes-explained-standalone.html

http://hadoop-tutorial.blogspot.kr/2010/11/running-hadoop-in-pseudo-distributed.html

http://www.javacodegeeks.com/2012/01/hadoop-modes-explained-standalone.html

troubleshooting

JobTracker is not yet RUNNING http://stackoverflow.com/questions/18463023/hadoop-word-count-example-without-root-permissions

http://stackoverflow.com/questions/17826770/jobtrackernotyetinitializedexception http://stackoverflow.com/questions/13677517/hadoop-tasktracker-and-jobtracker-dont-start-with-start-dfs-sh

org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /Users/hyundai/hadoop-data/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1

Datanode not running http://stackoverflow.com/questions/11889261/datanode-process-not-running-in-hadoop http://stackoverflow.com/questions/10097246/no-data-nodes-are-started

매우 좋은 troubleshooting http://www.cs.brandeis.edu//~cs147a/lab/hadoop-troubleshooting/

could only be replicated to 0 nodes, instead of 1 http://wiki.apache.org/hadoop/HowToSetupYourDevelopmentEnvironment could only be replicated to 0 nodes, instead of 1

I was getting this error when putting data into the dfs. The solution is strange and probably inconsistent: I erased all temporary data along with the namenode, reformatted the namenode, started everything up, and visited my "cluster's" dfs health page (http://your_host:50070/dfshealth.jsp). The last step, visiting the health page, is the only way I can get around the error. Once I've visited the page, putting and getting files in and out of the dfs works great!

50070 port not running http://stackoverflow.com/questions/8925805/namenode-ui-browse-file-system-not-working-in-psedo-distributed-mode

결론적으로, 아래와 같이 프로세스가 떠있지 않으면 history jps 39844 NameNode 40088 JobTracker 40022 SecondaryNameNode 41380 Jps 39933 DataNode 40177 TaskTracker

아래 디렉 내용을 지우고 /tmp/hadoop-[username]/ conf/core-site.xml 의 hadoop-tmp-dir/

네임노드를 포맷하고 bin/hadoop namenode -format

재기동한다 bin/start-all.sh

HIVE

예제 https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-InstallingHivefromaStableRelease

테스트 중 ml-data.tar.gz 는 링크가 깨졌고 http://www.grouplens.org/datasets/movielens/ 여기 데이터 다운 받아서 쓰면 된다.

troubleshooting >> hive> LOAD DATA LOCAL INPATH 'ml-100k/u.data'

; FAILED: ParseException line 1:23 mismatched input '' expecting INTO near ''ml-100k/u.data'' in load statement

해결 > 예제가 이상함 -_-) LOAD DATA LOCAL INPATH 'ml-100k/u.data' INTO TABLE u_data;

transform 시 broken pipe issue http://stackoverflow.com/questions/13730119/hive-broken-pipe-error

대략 프로그램 오타로 사료됨.

수집하는 데이터가 날짜값 기준으로 가져오는 이슈가 있는데, 기본 UTC로 설정되어 있어서 원래 의도와 맞지 않았다. 이때, UTC+9 로 timezone을 변경하는 방법은 아래와 같다.

sudo dpkg-reconfigure tzdata

ubuntu@ip-10-196-8-184:~$ sudo dpkg-reconfigure tzdata

Current default time zone: 'Asia/Seoul' Local time is now: Thu Oct 10 14:29:23 KST 2013. Universal Time is now: Thu Oct 10 05:29:23 UTC 2013.

정말 오랜만에 글을 쓰게 되는데... -_-)

업무상으로 어쩌다보니 신나게 XML/JSON 파싱을 하고 있는데,XMLStream을 조회하여 특정 태그 안의 값을 가져와서 후처리를 해야 했고, XML node의 data 값이 좀 희한하게 생겼지만 어쨌든 가져와서 문제를 해결해야 했다.

데이터 포맷은 아래와 같고...

[0:2=0 keyword1 end] [0:2=0 keyword2 end] [0:2=0 keyword3 end] [0:2=0 keyword4 end] [0:2=0 keyword5 end]

XMLEventReader 를 이용하여 아래와 같이 조회하는데, 태그 안 데이터를 전부 다 들고 오지 않고 두개씩 끊어서 오는 것이다. -_-)a

String xmlData = "..."; ByteArrayInputStream stream = new ByteArrayInputStream(xmlData.getBytes(), "UTF-8"); XMLInputFactory inputFactory = XMLInputFactory.newFactory(); XMLEventReader eventReader = inputFactory.createXMLEventReader(stream); while (eventReader.hasNext()) { XMLEvent xmlEvent = eventReader.next(); if (xmlEvent.isStartElement()) { XMLEvent xmlEventNext = eventReader.nextEvent(); if (xmlEventNext.isCharacters()) { String content = xmlEventNext.asCharacters().getData(); logger.info("content: " + content); ... } } }

결과

content = "[0:2=0 keyword1 end] [0:2=0 keyword2 end] "

저 content를 가져오는 시점에, 내가 원하는 값이 한번에 전부 리턴이 되지 않은 것이다. 그래서 처음엔 아래와 같이 코드를 고쳤다.

if (xmlEvent.isStartElement()) { XMLEvent xmlEventNext = eventReader.nextEvent(); while (! xmlEventNext.isEndElement()) { if (xmlEventNext.isCharacters()) { String content = xmlEventNext.asCharacters().getData(); ... } xmlEventNext = eventReader.nextEvent(); } }

결과

content = "[0:2=0 keyword1 end] [0:2=0 keyword2 end] " content = " [0:2=0 keyword3 end] [0:2=0 keyword4 end] " content = " [0:2=0 keyword5 end]"

이렇게 하면 내가 원하는 데이터를 한꺼번에 가져올 수는 있겠지만 다른 방법을 찾을 수 있을것 같아서 XMLEventReader의 nextEvent() 메소드를 까봤다.

XMLEventReader의 구현체인 XMLEventReaderImpl class

public XMLEvent More ...nextEvent() throws XMLStreamException { ... # fXMLReader 은 XMLStreamReader 객체 else if(fXMLReader.hasNext()){ //advance the reader to next state. fXMLReader.next(); return fLastEvent = fXMLEventAllocator.allocate(fXMLReader); } ... }

내부적으로 XMLStreamReader 객체를 가지고 있고, 그 객체의 next() 메소드로 content를 가져오는 것을 확인하고, 어떤 기준으로 next()에서 value를 꺼내오는지 확인만 하면 되는 것이었다.

XMLStreamReader 인터페이스에서 next() 메소드에 대한 정의를 아래와 같이 하고 있다.

javax.xml.stream.XMLStreamReader.next()

Get next parsing event - a processor may return all contiguous character data in a single chunk, or it may split it into several chunks. **If the property javax.xml.stream.isCoalescing is set to true element content must be coalesced and only one CHARACTERS event must be returned for contiguous element content or CDATA Sections.** By default entity references must be expanded and reported transparently to the application. If element content is empty (i.e. content is "") then no CHARACTERS event will be reported. Given the following XML: content text<![CDATA[Hello]]>other content The behavior of calling next() when being on foo will be: 1- the comment (COMMENT) 2- then the characters section (CHARACTERS) 3- then the CDATA section (another CHARACTERS) 4- then the next characters section (another CHARACTERS) 5- then the END_ELEMENT

오호라, 한 번에 받으려면 javax.xml.stream.isCoalescing 속성을 true로 지정하면 된다는 것을 확인하고 적용한 코드는 아래와 같다.

XMLInputFactory inputFactory = XMLInputFactory.newFactory(); inputFactory.setProperty("javax.xml.stream.isCoalescing", true); ....

이로써 한꺼번에 가져오는 것이 해결되었다. 그런데, 왜 두개씩 끊어서 가져오는 지는 명확하지 않지만 기본적으로 끊어서 가져올 수도 있다는 것을 인지해야 하므로 EndElement()만날때 까지 처리하는게 맞을수도 있겠다는 생각이 들었다.

oracle 문서를 찾아보니 더 많은 옵션과 설명이 준비되어 있다. http://docs.oracle.com/cd/E17802_01/webservices/webservices/docs/1.6/tutorial/doc/SJSXP4.html

단일 jdbc 연결로 여러개의 쿼리를 실행하고 싶은 경우

- JDBC connection string에 allowMultiQuery=true 추가 - Stored Procedure 활용

http://stackoverflow.com/questions/10797794/multiple-queries-executed-in-java-in-single-statement

insert/update를 한 방에 처리하고 싶은 경우

- insert ... on duplicate key update 구문으로 처리 - 내 경우는 unique key를 걸고 처리하였음 - "mysql"에만 해당하는 문법임.

ex. insert into product (a, b, c) values (1, 2, 3) on duplicate key update c = c + 1

http://dev.mysql.com/doc/refman/5.5/en/insert-on-duplicate.html

auto_increment 의 최종 값을 알고 싶을 때

- last_insert_id() 이용 - 변수에 담고 싶으면 아래와 같이 실행

계속 앞만보고 달려왔고 발에 뭔가 채이는게 있어도 일단 진행했었다.

그런데 문득, 내가 어느 상태까지 왔고 얼마나 파악하고 있는지 궁금해졌고 두어달 동안 진행한 프로젝트를 내가 얼마나 잘 알고 있는지 파악하고 싶어졌다. 

그래서 선택한 것이 회고(retrospecitve)이다.

사실 난 회고를 제대로 해본 적도 없고 어떻게 하는지도 잘 모르지만, 

현재 프로젝트를 진행하면서 어떤 일이 있었고 무슨 사실을 발견했고 그에 따라 내가 어떻게 느꼈는지 정리하면 되겠다 싶었다. 

일단 해보면서 좀 더 나은 방향을 찾아보기로 하고, 두어달 동안 진행했던 iOS 앱 개인 프로젝트에 대해 회고를 진행해보았다. 

http://agile.egloos.com/4122099 에 나오는 3Fs, 5Fs 를 참고하였고 그 사항은 아래와 같다. 

자, 우선 3Fs에 입각한 회고를 시도해보자.

     - Fact

     - Feeling

     - Finding

여기에 Future Action, Feedback을 더하면 5Fs 가 된다. 

사실 회고에 대한 방법은 잘 모른다. 그리고 이렇게 하면 될지도 잘 모르겠지만, 

간단한 앱을 만들었다고 해도 느낀 바는 수십가지 였기 때문에 포맷에 맞게 정리해보려고 한다. 

1)

Fact : 스토리보드를 사용하지 않고 iOS 앱을 만들어보았다.

Feeling : RootViewController부터 직접 만들어서 구동하는게 훨씬 직관적이었다. 

Finding : iOS 프로그래밍에 대한 예제도 많고 직관적이고 xcode에서 제공해주는 자동완성 기능이 매우 상세했다.

Future Action : block programming 기법을 적용해서 더 완성도 높은 앱을 만들어 나가려고 한다. 

Feedback :

2)

Fact : Loading Progress Bar 오픈소스인  SVProgressHUD를 적용해보았다.

Feeling : 응답을 기다리는 동안의 로딩 프로그레스를 쉽게 붙일 수 있어서 좋았다.

Finding : Progress Bar에 적당한 message도 넣을 수 있어서 유연하게 처리 가능하고,  show/dismiss 라는 단순한 메소드로 처리 가능했다.

Future Action : 사용하는 내 쪽에서 간혹 잘못 호출해서 없어지지 않는 버그가 있어서 수정했다. 

Feedback :

https://github.com/samvermette/SVProgressHUD

3)

Fact : Feed Provider에 따라 json/xml/html 파싱을 모두 처리하여 table cell로 변환하여 보여주였다. 

Feeling : JSON 파싱을 하기위한 사용법이 가장 간단했다.

Finding : html의 경우는 몇 가지 라이브러리를 검토한 후 NSString_stripHtml_XMLParsee을 적용해보았으나 원하는 데이터가 정상적으로 출력되지 않았다. (태그 뒤 짤림)

          - 검토한 libraries : Hpple, NSString_stripHtml

          http://www.raywenderlich.com/14172/how-to-parse-html-on-ios

Future Action : Html Parsing 및 stripHtml이 원하는대로 적용되도록 수정 필요.

Feedback : 

예제는 이곳에 -_-) 

     https://gist.github.com/joohee/5843380 

      4)

Fact : Protocol / Delegate 방식을 적용해보았다. 

Feeling : 프로토콜에서 정의한 함수를 구현하고 delegate를 호출자로 자신을 지정하면, 특정 이벤트를 delegate받은 호출자가 대신 처리할 수 있어서 편리했다.

Finding : 정의된 Protocol 대로 함수를 구현하고, Protocol이 정의된 객체의 delegate를 호출자로 지정하여 특정 이벤트 발생 시 Protocol내에 구현된 함수를 호출할 수 있는 방식이 흥미로웠다.

Future Action

Feedback :

이 작업을 하다보니, Feedback은 상대방으로부터 받아야 하는 사항인듯 하여 공란으로 남겨두게 되었고

Future Action의 대부분은 개선점을 적용하는 부분이라 다음주에 다시 펼쳐보기로 마음먹었다. 

이렇게 정리하고 나니 내가 해왔던 일을 좀 더 정확히 "인지"할 수 있었고 상대방에게 설명할 수 있을만큼 머리에 정리가 되는 듯 하다. 

글을 이렇게 장황하게 남길 필요는 없을지라도, 여태껏 내가 어떤 일을 하고 있고 그 부분을 되뇌이고 곱씹어보는 부분 만큼은 분명히 도움이 되는 것이라 생각한다. 

특히 나 스스로에게.