#mecab

mecab は termux で 12 も warning が出たのに。

魔法みたい。何かなる木が生えそうですね。

http://git.savannah.gnu.org/gitweb/?p=config.git;a=blob_plain;f=config.guess;hb=HEAD

で mecab-0.996 の config.guess を入れ替えただけ。かなり古いって言うからさ。まさか電話に入れるとは! と作った人も思うかな。

./configure --prefix=$HOME --with-charset=utf8

termux では普通にはインストールできないから prefix が必要。他にしたことは、この本体と IPA の辞書いずれも utf8 で。

MeCabとは「文章を要素」ごとに分解してくれるソフトです。

例えば、

プログラミングの勉強を始めました。

と入力すれば、

プログラミング 名詞,サ変接続,*,*,*,*,プログラミング,プログラミング,プログラミング

の 助詞,連体化,*,*,*,*,の,ノ,ノ 勉強 名詞,サ変接続,*,*,*,*,勉強,ベンキョウ,ベンキョー を 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ 始め 動詞,自立,*,*,一段,連用形,始める,ハジメ,ハジメ まし 助動詞,*,*,*,特殊・マス,連用形,ます,マシ,マシ た 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ 。 記号,句点,*,*,*,*,。,。,。

のように結果を返してくれます。面白いすね。

今回はこのソフトをRubyで実行してみました。

ソフトのダウンロード自体は、下記サイトから行うことが出来ます。

http://taku910.github.io/mecab/#download

ただし、ソフトを単体で使う分には問題ないのですが、プログラムの中で実行しようとすると、64bitの場合、「libmecab.dll」を開けないといったエラーが出てしまうことがあります。

その場合は、インストーラーを自分で修正する必要があります。

もしくは下記サイトでダウンロードしたものでも大丈夫です。

https://github.com/ikegami-yukino/mecab/releases

ここで注意することとしてはインストールする場所を変えてしまうとうまく動作しなくなることです。デフォルトのディレクトリにインストールすることをおすすめします。

これでMecBab側の準備は出来ました。

次にRuby側に必要なことは、「natto」を使えるようにしておくことです。

これは、

>>> gem install natto

を実行すれば、大丈夫です。

そして最後に「MECAB_PATH」を設定します。ここで設定するパスは「libmecab.dll」のパスとなります。

※プログラム内で、

----------------------------------------------------------------------------------

ENV['MECAB_PATH']=パス

----------------------------------------------------------------------------------

を付け加えても大丈夫です。

これで準備が出来ました。早速プログラムのサンプル見てみましょう。

sampleMecab.rb

----------------------------------------------------------------------------------------------------------

# Nattoを使う

require 'natto'

# Mecab を使う準備をする mecab = Natto::MeCab.new

# テキストを準備する

text = "プログラミングの勉強を始めました。"

mecab.parse(text) do |n|  puts "#{n.surface}: #{n.feature}" end

----------------------------------------------------------------------------------------------------------

これを実行すると

----------------------------------------------------------------------------------------------------------

プログラミング: 名詞,サ変接続,*,*,*,*,プログラミング,プログラミング,プログラミング の: 助詞,連体化,*,*,*,*,の,ノ,ノ 勉強: 名詞,サ変接続,*,*,*,*,勉強,ベンキョウ,ベンキョー を: 助詞,格助詞,一般,*,*,*,を,ヲ,ヲ 始め: 動詞,自立,*,*,一段,連用形,始める,ハジメ,ハジメ まし: 助動詞,*,*,*,特殊・マス,連用形,ます,マシ,マシ た: 助動詞,*,*,*,特殊・タ,基本形,た,タ,タ 。: 記号,句点,*,*,*,*,。,。,。 : BOS/EOS,*,*,*,*,*,*,*,*

----------------------------------------------------------------------------------------------------------

のように出力されます。

오래전부터 생각만 하다가 최근들어 빨리 프로토타입이라도 한 번 만들어봐야겠다고 생각하고 있는 프로젝트가 있는데, 그 프로젝트에는 한국어 형태소 분석기가 반드시 필요했다.

한가지 놀랐던 것은, 예전과는 다르게 요즘엔 공개된 형태소 분석기가 꽤 많아져서 선택을 하는 것이 오히려 더 어려울 정도였다. (이런 환경을 만들기 위해 애써주신 분들께 정말 감사드립니다. (_ _))

공개되어 있는 다양한 형태소 분석기 중에서 어떤 것을 쓸까 고민했는데, 내가 원하는 기준에서는 mecab-ko가 가장 나았다. mecab이라는 일본어 형태소 분석기를 한국어에 맞게 수정한 버전인데, 일단 로딩 및 파싱 속도가 가장 빠르다는 것이 최고의 장점.

그리고 mecab을 랩핑한 Node.js 모듈이 몇 개 있었는데, 그 중 mecab-async, mecab-ffi 라는 두 개의 모듈이 가장 많이 쓰이는 것 같았다. 다만, 내가 원하는 형식에는 조금 맞지 않아, 야크쉐이빙을 한 번 해 보기로 했다. 내가 원하던 형태는 KoNLPy라서 이 모듈의 인터페이스를 참조해서 만들기로 했다.

그리고 그 결과물 mecab-ya (이제 눈치 채셨겠지만, 사실 이 글은 광고글임다 ㅋㅋ 깃허브에 별점 좀 찍어주십셔 굽신굽신(_ _);;)

mecab-ffi 처럼 ffi 모듈을 이용해서 만들어볼까 했지만, mecab이 워낙 성능이 좋아 ffi 모듈을 이용하는 것과 프로세스를 띄우는 것 차이에 성능차가 거의 없었고, Node.js의 특성상 의존성과 성능측면을 고려하여 프로세스를 띄우는 방법을 쓰기로 했다.

Cabocha

係り受け解析器

nlp100で使うのでローカルに入れた

環境

Ubuntu 14.04

MeCab 0.996

CRF++ 0.58

Cabocha 0.69

前提

MeCabはnlp100の前段階で入れていた

IPAのutf-8の辞書を(参考:MeCab公式)入れていた

コマンドオプションで mecab -d /var/lib/mecab/dic/ipadic-utf8 として(.zshrcでaliasかけて)済ませていた．

インストール

CRF++のインストール $ tar xvfz CRF++-0.58.tar.gz $ cd CRF++-0.58 $ ./configure $ make $ sudo make install

Cabochaのインストール $ ./configure --with-charset=UTF8 --enable-utf8-only $ make $ sudo make install

エラった $ cabocha morph.cpp(187) [charset() == decode_charset(dinfo->charset)] Incompatible charset : MeCab charset is euc-jp, Your charset is UTF8

最初，Cabochaがeuc-jpになっているのかと思ってそっち方面で調べていた．

よく見たらMeCabやん！

ということで，

.zshrcでの暫定措置をやめる alias mecab='mecab -d /var/lib/mecab/dic/ipadic-utf8'

/etc/mecabrcを編集 # dicdir = /var/lib/mecab/dic/debian dicdir = /var/lib/mecab/dic/ipadic-utf8

.cabocharcを作成 (参考) mecabrc = /etc/mecabrc

これで無事に，MeCab，Cabocha共に動くようになった．

教訓

http://ma13.hateblo.jp/entry/2014/06/26/000000 や http://qiita.com/namoshika/items/37e1351f7ffefd505eec を参考に。

mecab を入れる(configureの前にrequest_type.patchを当てる)： $ wget https://mecab.googlecode.com/files/mecab-0.996.tar.gz $ tar -zxvf mecab-0.996.tar.gz $ curl -O https://gist.githubusercontent.com/kuhaku/f75597af0a282c6fada9/raw/fcf2eae9dd056e881d9b626bab4fa94a4d54a9e6/request_type.patch $ cd ~/mecab-0.996 $ patch -u < ../request_type.patch $ ./configure --enable-utf8-only $ make && make install

mecab-ipadicを入れる： $ wget https://mecab.googlecode.com/files/mecab-ipadic-2.7.0-20070801.tar.gz $ tar -zxvf mecab-ipadic-2.7.0-20070801.tar.gz $ cd ~/mecab-ipadic-2.7.0-20070801 $ ./configure --with-charset=utf8 $ make && make install

mecab-pythonを入れる： $ pip install mecab-python3

あとはちゃんとパスを通す。 特にprefixとか付けてインストールした場合。

自分用メモ。

wget 'http://qgpop.dl.sourceforge.jp/mecab/21187/mecab-0.93.tar.gz' tar xvfz mecab-0.93.tar.gz cd mecab-0.93 ./configure --disable-shared --with-charset=utf8 --prefix=/usr/local/mecab-0.93 make sudo make install wget 'http://qgpop.dl.sourceforge.jp/mecab/20904/mecab-ipadic-2.7.0-20060707.tar.gz' tar xvfz mecab-ipadic-2.7.0-20060707.tar.gz cd mecab-ipadic-2.7.0-20060707 ./configure --with-charset=utf-8 --with-mecab-config=/usr/local/mecab-0.93/bin/mecab-config make

これだと品詞IDが利用できないので

/usr/local/mecab-0.93/libexec/mecab/mecab-dict-index -d . -o . -f euc-jp -t utf-8

で再度生成しなおす。

sudo make install

シンボリックリンクをはる。

cd /usr/local sudo ln -s mecab-0.93 mecab

perlのモジュールを作る。

wget http://osdn.dl.sourceforge.jp/mecab/21189/mecab-perl-0.93.tar.gz perl Makefile.PL make make test

結果が文字化けして見えますが問題ないです。test.plをあらかじめ

nkf --overwrite -w test.pl

でutf8にしておけば文字化けしません。

sudo make install

perlモジュールがOSXだとうまく入らない。(ここメモしてなかったのでおぼろげ) iconvがないとか、Makefile.PLの引数が奇数なのはおかしい、という旨のことを言うので

use ExtUtils::MakeMaker; WriteMakefile( 'NAME' => 'MeCab', 'CC' => `mecab-config --cxx`, 'LD' => `mecab-config --cxx`, 'INC' => `mecab-config --cflags`, 'LIBS' => `mecab-config --libs` . " -liconv", 'VERSION' => `mecab-config --version`, 'OBJECT' => 'MeCab_wrap.o' );

と無理やり変更してやる。 あとお約束で

export MACOSX_DEPLOYMENT_TARGET=10.3