myskillbox

RewriteMapを使って見よう。

sshで、リモートサーバに対してコマンドを発行することが出来ます。

$ ssh server command

コマンドのレスポンスが接続元サーバのターミナルに来るので、何かと便利です。  ※ サーバを移らなくて済む、レスポンスが1サーバにまとまるので、その後の解析が楽とか。

しかし、複雑な事をしようとして、コマンドが長くなってしまうと、途端にコマンドで渡すのが大変になり、コマンドを''とか"とかで囲まなきゃいけなくて、awk使おうとすると、めんどくさくなったり、囲まないでもいいけど、パイプからの実行がローカルになるので、実は不要なデータ転送が起こっていたりと、いろいろ複雑になります。

なので、スクリプトを作るんですが、これを実行させたくなります。 正攻法としては、scp等で転送して、ローカルからそのファイルをssh経由で実行させるというのがあります。 しかし、スクリプトの編集などがめんどくさくなってしまいます。 ※ ログイン先のサーバで作業すればいいと言われるかもしれませんが、一台から複数のサーバに対して同じコマンドを投げたい時とか有りますので。。。

ということで、簡単にローカルにあるスクリプトファイルを実行させる方法。

$ ssh server “$(cat bashfile)”

grepで高速に抽出したい時のコツ

ずばり、正規表現を使わない！！

例えば    この条件と、この条件にマッチするものを省く

というような事をしたい時、

 $ grep -v “aaa\|bbb” とか、  $ grep -E -v “aaa|bbb”

とヤりたくなってしまうけど、

$ grep -v “aaa" |  grep -v “|bbb”

と比較してみると面白い。 自分のためしたテキストでは、10倍近く差がでた!! もちろん、テキストの内容や、条件によって、違うと思うけど。 遅いな‐と思ったら試す価値あり！！！

mysqlでblackholeを使ってみることにした。

用途としては、ログで、insertしかしないテーブルの高速化。

ということで、その際の注意。

・インストール 既に大体のmysqlではプラグインが入ってるんじゃないかなぁ 必要であれば、プラグインを使えるようにするだけでイケると思われる。

・導入 既存のログDBがあって、別途insert用のDB、テーブルを作り、そこからレプリケーションする

・注意点 blackholeのテーブルのカラムで、auto_increment指定してあると毎回同じ番号になってしまう。 なので、必要であれば、blackholeのテーブルのauto_increment指定を解除して、レプリケーション先のテーブルのみにauto_incrementをつける。

5百万行から35万行抽出するような検索

1. grep xxx file real    0m0.223s user    0m0.156s sys     0m0.120s

2. sed -n ‘/xxx/p’ file real    0m2.978s user    0m2.808s sys     0m0.143s

3. awk ‘/xxx/ {print}’ file real    0m15.503s user    0m12.171s sys     0m0.256s

VAR=`command`

VAR=$(command)

どちらも入れ子に出来なかったり、下段は変数に$を入れても入れなくても良かったりする。

なので、使いドコロを見極めるのが大変かも。

ちなみに、for や if全体もこれを使って囲むことができる。

なんかいい感じにテキストを一行にするやり方を探し中。

テキスト内の一部を1行にして内容を見やすくしたいんです。

 2015から始まる行のみ改行を入れる cat text.txt | awk '/^2015/ {print ""} {printf "%s", $0} END{print""}'