#openmpi

due to the bug of  gcc 7.1for mac osx, it prompts  such kind of error messages “error: ‘LOG_INFO’ undeclared” when compiling openmpi 3.0. But using clang and clang++ succeeded to compile openmpi in Sierra:

./configure --prefix=install_dir CC=clang CXX=clang++

make -j 4

Message Passing using OpenMPI : Production and Consumption via Broker

I am working on several assignments and through the problem solving process, I am learning OpenMPI. OpenMPI is a great library that gives you capability of using multiple CPUs in parallel. Think about you are given 100 random numbers which are not sorted. Normally you would write a sequential program where you will implement a O(nlogn) sorting algorithm like quick sort or merge sort to sort those…

今回は量子化学計算ソフトウェア「ORCA」をMPIで走らせるメモを書いておきます。 ORCAはMax-Plank Institute、略してMPIの研究室の先生が開発しています。 密度汎関数法に力を入れているらしく、またX線吸収も計算できるみたいです。 http://cec.mpg.de/forum/ 登録後、バイナリを無料で入手可。 この登録フォーム、スパムはじくための認証が「画像から文字を読み取る」ではなくてジグソーパズルを完成させるというもので、はじめは広告だと思ってスルーしててなかなか登録できなかったのはここだけの話。 以下、ORCAのバージョンは2.9.1のLINUXを使っています。2013/8/8での最新。 LINUXをダウンロードして解凍、serialで走らせるところまで終わらせたとします。あとMPI向けssh関連の設定もできているとします。 続いてMPI。ORCAはopenMPIに依存しているようです。 一方でいろいろ見て回ると、特定のバージョンに依存しているためopenMPI1.4あたりをソースコードからビルドしようと言っているページをちらほら見かけます。 ここでは、

すでに別のMPIをインストールしてある

パッケージマネージャで違うバージョンのopenMPIを入れている

という状況を考えます。 ORCAはC++を使っているようで、MPI使用時に読み込んでいるライブラリは

libmpi.so.0

libmpi_cxx.so.0

のようです。何度も

orca_gtoint_mpi: error while loading shared libraries: libmpi_cxx.so.0: cannot open shared object file: No such file or directory

みたいなエラーを出して分かりました。 ところが最新バージョンのopenMPIではlibmpi.so.1以降になってて、普通だとうまくいきません。 おそらく、いろんな人がopenMPIの特定バージョンを推している理由のひとつです。 はい、シンボリックリンクを張って回避できました。まずこれらのライブラリがあるところに行きます。 UbuntuではSynapticでopenMPIを入れると

# cd /usr/lib/openmpi/lib

CentOSではyumで入れると

# cd /usr/lib64/openmpi/lib

にあると思います。そののちリンク張り。

# ln -s libmpi.so.1 libmpi.so.0 # ln -s libmpi_cxx.so.1 libmpi_cxx.so.0

もしかしたら、hoge.so.1.x.yとサブバージョンが続いているかもしれません。 で、走らせようとすると、mpirunを別のMPIを使ってこけることがあります。これはPATHを通しなおすことで回避します。 Ubuntuではmpirunは/usr/binに置かれていたので、

$ export PATH=/usr/bin:$PATH

CentOSではopenmpiディレクトリの奥にあったので、

$ export PATH=/usr/lib64/openmpi/bin:$PATH

とPATHの最初におけばいいです。 続いてsoの場所も伝えます。 Ubuntu(もしかしてdeb系かな？)

$ export LD_LIBRARY_PATH=\ /usr/lib/openmpi/lib:$LD_LIBRARY_PATH

CentOS(もしかしてyum系というか)

$ export LD_LIBRARY_PATH=\ /usr/lib64/openmpi/lib:$LD_LIBRARY_PATH

これで後は走らせるだけ、とORCAまでパスを通して

$ orca input.file > output.file

とすると

mpirun was unable to launch the specified application as it could not access or execute an executable: Executable: /orca_gtoint_mpi

という感じでこけます。なぜか自身のパスがほかの計算モジュールとうまく共有できていないようなので、

$ /path/to/orca input.file > output.file

と絶対パスで呼んでやる必要があります。 まとめると、 １）シンボリックリンクを張る：

# cd /path/to/openmpi/lib # ln -s libmpi.so.1.x.y libmpi.so.0 # ln -s libmpi_cxx.so.1.x.y libmpi_cxx.so.0

２）パスを通す

$ export PATH=/path/to/openmpi/bin:$PATH $ export LD_LIBRARY_PATH=/path/to/openmpi/lib:$LD_LIBRARY_PATH

３）絶対パスで呼び出し

/path/to/orca input.file > output.file

２）、３）をまとめてシェルスクリプトにしてしまえば便利かと思います。 とりあえず、これで僕の環境では1ノード内並列計算ができました。 まあバージョン依存の機能を使っているとかなわんので、一応テスト計算して、serialのときと数字が同じになることを確かめましょう。 この方法、ORCAに限らず似たような状況、

ライブラリのファイル名違い

実行ファイル名の衝突

Bu yazımda nasıl ev yapımı bir süper computer yapabilirsiniz ondan bahsedeceğim.

Ama ilk önce ne işinize yarar kısaca bahsedeyim.

Yeterince kaynağınız ve sabrınız varsa en büyük PI yi hesaplatabilirsiniz :)

John kurup brute force password kırabilirsiniz yada render farm olarak yuksek çözünürlükteki render işlemlerini kısa sürede tamamlayabilirsiniz.

Özetle yüksek hesaplama gücüne sahip olmuş olursunuz işlemcilerinizle voltran oluşturmuş olursunuz.

Başlıyoruz:

İlk önce ne kadar sunucunuz varsa linux kurun (tercih debian)

Hepsine SSH kurun

Bir kullanıcı oluşturun ve tüm sunucularda key attın (ssh-add) 

Birine NFS sunucu diğerlerine nfs client kurun

NFS clientlarıdan (mount –t nfs NFSServerIP /mnt/nfs) ile mount edin

Hepsine openmpi kurun.

Hazırlıklarımız tamamlandı.

Şimdi openmpi konfigure etme zamanı geldi.

/etc/openmpi-default-hostfile dosyası oluşturup içine ne kadar node (istemciniz) varsa ip adreslerini girin.

192.168.1.2 slot=8

192.168.1.3 slot=8

192.168.1.4 slot=8

/mnt/nfs in altına Openmpi kutuphanesi kullanarak yazılmış kodumuzu derleyeceğiz

Pi.c

#include <stdio.h>

#include <stdlib.h>

#include "mpi.h"

int main(int argc, char *argv[])

{

      int    i, n;

      double h, pi, x;

      int    me, nprocs;

      double piece;

/* --------------------------------------------------- */

      MPI_Init (&argc, &argv);

      MPI_Comm_size (MPI_COMM_WORLD, &nprocs);

      MPI_Comm_rank (MPI_COMM_WORLD, &me);

/* --------------------------------------------------- */

      if (me == 0)

      {

         printf("%s", "Input number of intervals:\n");

         scanf ("%d", &n);

      }

/* --------------------------------------------------- */

      MPI_Bcast (&n, 1, MPI_INT,

                 0, MPI_COMM_WORLD);

/* --------------------------------------------------- */

      h     = 1. / (double) n;

      piece = 0.;

      for (i=me+1; i <= n; i+=nprocs)

      {

           x     = (i-1)*h;

           piece = piece + (

                                   4/

                              (1+(x)*(x))

                                   +

                                   4/

                              (1+(x+h)*(x+h))

                                               ) / 2 * h;

      }

      printf("%d: pi = %25.15f\n", me, piece);

/* --------------------------------------------------- */

      MPI_Reduce (&piece, &pi, 1, MPI_DOUBLE,

                  MPI_SUM, 0, MPI_COMM_WORLD);

/* --------------------------------------------------- */

      if (me == 0)

      {

         printf("pi = %25.15f\n", pi);

      }

/* --------------------------------------------------- */

      MPI_Finalize();

      return 0;

}

mpicc -o Pi Pi.c    komutu ile derliyoruz.

mpirun –np 24 Pi  24 Çekirdek kullanarak süper bilgisyarımızı çalıştıralım.

Tüm bilgisayarlar da işlemci kullanımı %100 çalışmaya başlayacak.