#erasticache

Redisのfailoverする為に3つの候補があった

internal ELB

Twemproxy

HAProxy

色々調べて以下の結果に落ち着いた

internal ELB RedisをErastiCacheで動かしている為、使用できない。

Twemproxy AWSからも事例で使われており、shardingにも使えるので便利だが パッケージを自分で作成するか、ソースからコンパイルする必要があり面倒なので却下。

HAProxy 既にMySQLで使用しており、バランシングだけであれば十分事足りるので採用!!

HAProxyでRedisを設定している例があまりなかったので設定例を載せます ※ほとんど他と変わりませんが…

listen redis bind 127.0.0.1:6379 mode tcp maxconn 50 balance roundrobin retries 1 timeout connect 1s timeout client 3s timeout server 3s option tcplog server slave1 s1.hoge.jp:6379 weight 2 check inter 5s fall 2 server slave2 s2.hoge.jp:6379 weight 1 check inter 5s fall 2 server master m1.hoge.jp:6379 backup

MySQLと違う点はヘルスチェックが出来ないことです。 HAProxy1.5であればtcp-checkと言うオプションがあり、pingをたたいてチェックする事が出来るのですが、現時点ではDevelopmentレベルなので泣く泣く諦める事にしました。

Twemproxyは、MemcachedまたはRedisプロキシ・サーバーです。

function

プロキシとして機能し、キャッシュサーバーへの接続数を減らせる

データを自動的に複数のキャッシュサーバー間に分散する

異なる戦略よる一貫したハッシュとハッシュ機能をサポートする

障害時にノードを切り離す様に設定できる

複数のインスタンスで走り、クライアントが最初に利用できるプロキシサーバーに接続できる

リクエストのパイプラインとバッチ化ができるのでラウンドトリップを減らせる

Install and Build on ubuntu パッケージがないのでソースからコンパイルさせ、serviceコマンドで実行できる様にします。

### src install ### $ sudo apt-get install automake $ sudo apt-get install libtool $ cd /opt $ git clone git://github.com/twitter/twemproxy.git $ cd twemproxy $ sudo autoreconf -fvi $ sudo ./configure $ sudo make && make install ### create init & log file for ubuntu ### $ sudo mv ${NUTCRACKER_INIT} /etc/init.d/nutcracker $ sudo chmod 755 /etc/init.d/nutcracker $ sudo mkdir -p /etc/nutcracker $ sudo mkdir -p /var/log/nutcracker $ sudo cp /opt/twemproxy/conf/nutcracker.yml /etc/nutcracker/nutcracker.yml # config services $ sudo update-rc.d nutcracker defaults

${NUTCRACKER_INIT}はtwemproxyで用意されているinitファイルが環境に合わないため、自作しています。

Configuration(nutcracker.yml) redisを使用し、master × 1 slave × 2で行った場合の設定です。

redis_write: listen: 127.0.0.1:22121 hash: fnv1a_64 distribution: ketama timeout: 3000 preconnect: true auto_eject_hosts: true redis: true server_connections: 50 server_retry_timeout: 30000 server_failure_limit: 1 servers: - master.sample.0001.apne1.cache.amazonaws.com:6379:1 redis_read: listen: 127.0.0.1:22122 hash: fnv1a_64 distribution: random timeout: 3000 preconnect: true auto_eject_hosts: true redis: true server_connections: 100 server_retry_timeout: 5000 server_failure_limit: 1 servers: - slave1.sample.0001.apne1.cache.amazonaws.com:6379:1 - slave2.sample.0002.apne1.cache.amazonaws.com:6379:1

Description

listen: IPアドレスとポートの設定

hash: ハッシュ方法の設定

distribution: 分散方法を指定する。randomを指定すれば文字通りの結果が出る。他はよくわからん...

auto_eject_hosts: server_failure_limitで設定した回数分連続してエラーが発生した場合、nodeから切り離される。