#fortran2003

きっかけ

Fortranで構造体にCのmallocとかで得たポインタと配列ポインタを持たせ、finalで解放するようにしたところ、 右辺値で一時的に生成させたインスタンスのメモリはどうやってもうまく解放できませんでした。

ですが、メモリリーク量をよく見ると、組み込み変数の配列はリークしてませんでした。

ということは、構造体のデストラクタは呼ばれなくても、各メンバのデストラクタは呼ばれるのではないかと。 あるいは、組み込み変数に準じたものにしてしまえば大丈夫ではないかと。

そこで厄介なメモリを構造体にまとめてそれ自体を構造体に持たせてみました。

すると、うまいこと行きました。

修正コード

module person_module use iso_c_binding implicit none ! 厄介さん保持用構造体 type :: data_container integer(c_size_t) :: c_array = 0 byte, pointer :: buffer(:) => null() contains final :: free_data end type data_container ! personクラスの定義。メンバ変数には組み込み型しかないです。 type :: person integer :: age character(len=:), allocatable :: my_name type(data_container) :: id_data contains procedure :: init => person_init procedure :: greeting => person_greeting end type person interface assignment(=) module procedure :: copy_person end interface interface operator(.is.) module procedure :: make_person end interface contains ! 初期化は普通に。 subroutine person_init(this, name_str, age) class(person), intent(inout) :: this character(*), intent(in) :: name_str integer, intent(in) :: age this%age = age this%my_name = name_str this%id_data%c_array = malloc(this%age) allocate(this%id_data%buffer(1024)) end subroutine person_init subroutine person_greeting(this) class(person) :: this write(*,'(a,a,a,i4,a)') "Hello. I am ", this%my_name, ". ", this%age, " years old." end subroutine person_greeting ! personクラスではなく、data_containerのデストラクタであることに注意。 subroutine free_data(this) type(data_container) :: this if(associated(this%buffer)) deallocate(this%buffer) if(this%c_array > 0) call free(this%c_array) end subroutine free_data ! コピーコンストラクタ。組み込み変数は＝でコピー、data_containerはアロケートし直し。 subroutine copy_person(u, v) type(person), intent(in) :: v type(person), intent(inout) :: u type(c_ptr) :: addr call free_data(u%id_data) u%age = v%age u%my_name = v%my_name if(v%id_data%c_array > 0) u%id_data%c_array = malloc(u%age) if(associated(v%id_data%buffer)) allocate(u%id_data%buffer(1024)) end subroutine copy_person ! .is. 演算子の実装。 function make_person(name_str, age) result(p) integer, intent(in) :: age character(\*), intent(in) :: name_str type(person) :: p p%age = age p%my_name = name_str p%id_data%c_array = malloc(age) allocate(p%id_data%buffer(1024)) end function make_person end module person_module

テストプログラム

program person_test use person_module implicit none call test stop contains subroutine test type(person) :: p1, p2 call p1%init("hoge hoge", 30) p2 = "Instant one" .is. 60 call p1%greeting p2 = p1 call p2%greeting call person_greeting("inside argument" .is. 59) end subroutine test end program person_test

メモリリークは起きませんでした。

反省点

.is.演算子で生成し=で代入する場合、演算子と代入で2回のメモリアロケートが起こり、 しかも.is.演算子で割り当てた分はすぐに消される定めなのがなんとかならんかなと思います。

でも.is.演算子で生成する分でもちゃんとメモリを取っておかないと、直接サブルーチンに渡したときに渡した先で困りますし。

assignment演算子は右辺がintent(in)ですので、コピーしかできない。そういえばC++11でムーブコンストラクタができるようになりましたね。

まあ、小さいメモリしか使わないものだったらまあいいか。

めちゃくちゃでかいメモリを要求するとか、ループが重くて何度も生成消滅するとかのケースでは設計を見直した方がよいと思います。

終わりに

モジュール定義

以下の4種類のメモリをクラスのメンバとします。

Fortranの組み込み変数(integer)

Fortranの可変長配列(character)

Fortran配列へのPointer

Cでの配列（malloc利用、FortranからはC_ptrとしてしか見えない）

今回はメモリテストということで、すごい単純な構造体を考えます。 名前と年齢を保持し、挨拶を出力するサブルーチンを持つだけとします。

組み込み変数は年齢、可変長配列は名前の文字列。

配列へのPointerとして、1kBのByteの配列を用意します。もしかしたら画像なり暗号化コードなりを個人ごとに持たせるかもしれません。

Cの配列は、iso_c_bindingのmallocで年齢と同じbyte数を割り当て、そのポインタを整数で持っています。もしかしたらCの外部ライブラリを使うかもしれないという想定です。

面倒なので、

hoge = "My Name" .is. 30

としたら名前"My Name"で年齢30のpersonインスタンスを生成する演算子.is.を定義してみます。

module person_module use iso_c_binding implicit none ! personクラスの定義。 type :: person integer :: age integer(c_size_t) :: c_array = 0 byte, pointer :: buffer(:) => null() character(len=:), allocatable :: my_name contains procedure :: init => person_init procedure :: greeting => person_greeting final :: dest end type person ! 代入演算子。デフォルトでは各メンバを＝でコピーするのと同じ。c_arrayやbufferのコピー方法を変えるため。 interface assignment(=) module procedure :: copy_person end interface ! 右辺で一時インスタンスを作成させるような演算子を定義しました。 interface operator(.is.) module procedure :: make_person end interface contains ! 初期化です。C++でのperson p("hogehoge", 30);みたいな記法が分からなかったので、メソッドとして呼び出すようにしました。 subroutine person_init(this, name_str, age) class(person), intent(inout) :: this character(*), intent(in) :: name_str integer, intent(in) :: age this%age = age this%my_name = name_str if(this%c_array > 0) call free(this%c_array) this%c_array = malloc(this%age) allocate(this%buffer(1024)) end subroutine person_init ! ひとつくらいpersonらしいメソッドを用意してみました。 subroutine person_greeting(this) class(person) :: this write(*,'(a,a,a,i4,a)') "Hello. I am ", this%my_name, ". ", this%age, " years old." end subroutine person_greeting ! デストラクタ。Fortranからでは扱いが難しいc_ptrなどの解放を明示的に行います。my_nameの解放はおまけです。 subroutine dest(this) type(person) :: this if(associated(this%buffer)) deallocate(this%buffer) deallocate(this%my_name) if(this%c_array > 0) call free(this%c_array) end subroutine dest ! = 演算子へのオーバーライド用。デフォルトでの組み込み変数のコピーに対応できないようなpointerやc_ptrなど、特殊なメモリを特別にallocateしなおしています。 subroutine copy_person(u, v) type(person), intent(in) :: v type(person), intent(inout) :: u u%age = v%age u%my_name = v%my_name if(u%c_array > 0) call free(u%c_array) if(v%c_array > 0) u%c_array = malloc(u%age) if(associated(u%buffer)) deallocate(u%buffer) allocate(u%buffer(1024)) end subroutine copy_person ! .is. 演算子でpersonクラスインスタンスを生成する関数。 function make_person(name_str, age) result(p) integer, intent(in) :: age character(*), intent(in) :: name_str type(person) :: p p%age = age p%my_name = name_str p%c_array = malloc(age) allocate(p%buffer(1024)) end function make_person end module person_module

ここから要所要所をコメントアウトし、その箇所のメモリ管理における役割を確かめます。

コメントアウトで取るのは、デストラクタとassignのオペレータ。

final :: dest の1行をコメントアウトすればデフォルトのデストラクタになります。

interface assignment(=) ～ end interfaceブロックの3行をコメントアウトすればデフオルトの代入演算子になります。

プログラム本体

Mainのプログラムは、

program test use person_module implicit none call test1 contains subroutine test1 （以下略、test1～test5の定義） end program test

としました。そしてコンパイルと実行は

gfortran [-O2] [-g] person.f90 test.f90 ./a.out Hello. I am hoge hoge, 30 years old.

みたいな感じです。

出力については予想通りの文となりましたので、以下では略します。

テスト１　普通に

subroutine test1 type(person) :: p1 call p1%init("hoge hoge", 30) call p1%greeting end subroutine test1

Fortranのオブジェクト指向のサンプル通りかと思います。

finalなし

1054バイトのlost。つまり1024＋30バイトで、pointer属性の配列とC_ptrが解放できてませんね。

finalあり

普通にすべて解放されます。

テスト２　コピー

subroutine test2 type(person) :: p1, p2 call p1%init("hoge hoge", 20) p2 = p1 call p2%greeting end subroutine test2

final、assignmentなし

1024 + 20 byteがlostとなりました。

finalのみ定義

Segmentation faultがおきました。

assignmentがなければ、デフォルトでは各成分を = で代入しますが、c_ptrのアドレスのみコピーしていたので、同じアドレスに対しp1とp2の2回freeを呼ばれてしまったためのエラーかと思います。

p1, p2それぞれがポインタ値を持つため、デストラクタ中で解放後nullポインターを代入しての2重解放回避もできないと思います。

assignmentのみ定義

2088 byteのlostとなりました。

デフォルトのassignmentでは、pointerとかc_ptrのアドレスのみコピーしていたところを、わざわざ別にallocateし直したために傷が深くなった感じです。

final、assignment定義

特にリークやエラーなどなく、正常に終了しました。

テスト３　インスタンスを生成するoperator

subroutine test3 type(person) :: p1 p1 = "Instant one" .is. 60 call p1%greeting end subroutine test3

今回はともかく、状況によってはかなり読みやすくなるテクニックだと思いますが、これは右辺で一時インスタンスを作って代入演算子によりp1にコピーするということをしています。 C++とかだと右辺値参照とか使ってムーブコンストラクタを利用するか、shared_ptrあたりを使う場面かと思いますが、Fortranではどうでしょうか。

final, assignment 未定義

1084 byteのlost。test1と同様のメモリリークですね。

assignmentのみ定義

2168 byteのlost。2倍になりました。おそらくp1と、一時インスタンスの分ですね。

finalizerのみ定義

test2の時と違い、今度はメモリリークもなく、正常に終了しました。

デストラクタがp1の1回しか呼ばれなかったため、一時インスタンスと共有したメモリを1度だけ解放されたためかと思います。

final、assignment定義

1084 byteのリーク。.is.演算子による一時インスタンスは解放されないようです。

テスト４　インスタンス上書き

subroutine test4 type(person) :: p1, p2 call p1%init("hoge hoge", 20) call p2%init("Ephemeral", 20) p2 = p1 call p2%greeting end subroutine test4

final、assignment未定義

2088 byteのleak。(1024 + 20) * 2ですね。

p2、Ephemeralの方のageを30にすると2098と10増えました。

finalのみ定義

セグメンテーションエラーとなりました。

gfortran -g でコンパイルし、backtraceを見ると、end subroutine test4で発生していました。

assignmentのみ定義

2088 byteのleak。(1024 + 20) * 2ですね。

p2、Ephemeralの方のageを30にしても同じだったので、上書きされる前のは無事に解放されているようです。

final、assignment定義

リーク等もなく正常終了。

テスト５　関数の引数でインスタンス生成

subroutine test5 call person_greeting("inside argument" .is. 59) end subroutine test5

.is.は文ではなく関数でインスタンスを得ますので、いっそサブルーチンに直接渡してみようという試み。 testサブルーチン中に変数の宣言が一切必要なくなりました。

だけどデストラクタはちゃんと呼ばれるのだろうか、という心配が生じました。

結果

finalの定義あるなしにかかわらず、1083byteのlostとなりました。test3と同様、変数に束縛されないオブジェクトは解放されないようです。 destサブルーチン中にwrite文を入れてみましたが、その出力はなし。つまり、デストラクタを呼ぶタイミングを見失ったようです。

まとめ

デフォルトのデストラクタのときにメモリの問題が生じるのは、Cのポインタを使うときは仕方がないとして、配列へのpointerでも起こるというのが少々意外でした。

そして、右辺値で一時的なインスタンスとして生成された構造体は、デフォルトのデストラクタしか呼ばれないようですね。

構造体が関数の戻り値となる場合、とりあえずassignmentを工夫すればいいかなと思いましたが、test5みたいに一時インスタンスを直接別のサブルーチンの引数にするとどうしようもないですね。 つまり、構造体を戻り値にするような関数を作らないという方法が考えられます。

また、関数の戻り値にしないとした場合でも、C_ptrやpointer配列を使う場合はfinalの定義は必要として、適切なassignmentの定義も必要かなと思います。というのは、二つの構造体p1, p2が定義されたとき、p1 = p2という文を制限する根拠も方法も思い当たらないためです。

組み込み変数やallocatableな変数を使っている限りは、character(len=:)の分のメモリがtest5のケースでも大丈夫なよう（メモリリークの量がc_ptrとpointerで説明できる）なので、きちんと管理されているようですね。 その方向で試してみたところ、c_ptrやpointer配列もいい感じに扱えるような方法が分かりましたので、まとめました。こちら

一度Fortranの仕様書を確認しようかな。 これが仕様ではなく実装の問題であれば、将来のバージョンアップでこの問題も解決されることも期待したいです。

おわりに

fortranでの実装

ちなみに発想自体は全世界的にあるので、すでに実装例があります。

http://fortranwiki.org/fortran/show/regex_module

おそらく安全に使えます。

ここでは、自分で実装しなおし、FortranとCの連携の練習をしました。

すべてをFortranで

上の先例の何が気に入らないかというと、C言語の部分があることです。

regex.hは正規表現パターンの管理にregex_t構造体を使い、関数にはそのポインタを渡します。 このポインタの取り扱いについて、Fortran越しに扱うときに２通りの方針があると思います。

Fortran上でCと同等のメンバを持つ構造体を定義する。

FortranではCのpointer（つまり整数）のみを扱う。

構造体の定義は、ビット単位での指定があるので対応が面倒になりました。なのでCのポインタだけを扱うことにします。 また、Cのポインタのみを扱うとしたとき、動的なメモリ確保が必要になります。つまりメモリ上に何バイトかの空間を確保し、確保されるたびに変わるその先頭アドレスを控えます。この確保の方法について、

Cでmalloc(sizeof(regex_t))を実行する関数を用意、ポインタを返してもらう。

Fortranでsizeof(regex_t)と同じサイズの適当なバイト列を確保し、そのポインタを渡す。

Cのmallocを使う方法は上のFortranwikiで実装されている方法になります。今回はそれを避け、メモリ確保も含めすべてFortranで行うことにします。これでもregex_tの中身を気にする必要はありません。

なおFortran実装のみで完結した場合厄介なことがあります。それはこの例だとregex_tの構造が変わったときです。 Cのmalloc関数を使う実装だとどんな構造体になってもsizeof()で対応できます。 しかし、Fortranで同等の構造体を定義したら、regex.hの変更に合わせてそれも変えなきゃいけません。Fortranで同じサイズのメモリを確保するだけにしてても、そのサイズを変更の度に合わせなければいけません。

けどまあその時はその時です。なんかregex_tのサイズが３２バイトであることを前提としたプログラムもありそう。

インターフェース

Fortran完結の時、regex.hの関数プロトタイプ宣言に相当することをinterface宣言で行います。

今回使う関数は次の４つと構造体一つ。

// 正規表現パターンコンパイル int regcomp(regex_t * __restrict, const char * __restrict, int); // エラーメッセージをエラーコードから取得 size_t regerror(int, const regex_t * __restrict, char * __restrict, size_t); // 正規表現マッチ実行 int regexec(const regex_t * __restrict, const char * __restrict, size_t, regmatch_t * __restrict, int);__ // メモリ解放 void regfree(regex_t * ); // マッチ位置情報保管場所 typedef struct { regoff_t rm_so; // start of match regoff_t rm_eo; // end of match } regmatch_t;

ちなみにregoff_tは_off_tのtypedefで、_off_tはsys/_types.hで__int64_tのtypedefになっています。つまり符号付６４ビット整数。

そしてregex_tに相当する構造体は、Cのポインタと構造体自体の情報を置いておくバッファのみを持つこととします。これは特にCに渡さないので適当。

これをFortranが理解できるようにします。

module regex_module use iso_c_binding implicit none type :: regex_type byte, pointer :: buffer(:) type(C_ptr) :: preg end type regex_type type, bind(C) :: regmatch_t integer(c_int64_t) :: rm_so integer(c_int64_t) :: rm_eo end type regmatch_t interface function C_regcomp(reg, pattern, flags) result(status) bind(C,name="regcomp") import type(C_ptr), value :: reg character(len=1,kind=C_char), intent(in) :: pattern(*) integer(c_int), intent(in), value :: flags integer(C_int) :: status end function C_regcomp function C_regexec(reg,string,nmatch,matches,flags) result(status) bind(C,name="regexec") import type(C_ptr), intent(in), value :: reg character(len=1,kind=C_char), intent(in) :: string(*) type(regmatch_t), intent(out) :: matches integer(C_size_t), intent(in), value :: nmatch integer(C_int), intent(in), value :: flags integer(C_int) :: status end function C_regexec function C_regerror(errcode, reg, errbuf, errbuf_size) result(regerror) bind(C,name="regerror") import integer(C_size_t) :: regerror integer(C_int), value :: errcode type(C_ptr), intent(in), value :: reg character(len=1,kind=C_char), intent(out) :: errbuf integer(C_size_t), value :: errbuf_size end function C_regerror subroutine C_regfree(reg) bind(C,name="regfree") import type(C_ptr), intent(in), value :: reg end subroutine C_regfree end interface contains (モジュール関数の実装) end module regex_module

一応確認しますと、例えば

function C_regcomp(reg, pattern, flags) result(status) bind(C,name="regcomp")

は、C言語ではregcompとして定義されることになっていて、FortranからはC_regcompという名前で見えてますよという宣言です。 上であげた定義したい関数４つについて、頭にC_をつけてFortranから呼び出します。

ポインタの値渡し

ポイントとしては、Fortranはデフォルトで参照渡しで、Cから見るととりあえず*を付けていることになります。 なので、Cでは＊がついている文字列はFortranからは普通にCharacterを渡してやればいいです。

問題はregex_t*ですが、これをFortranから参照渡しで実現しようとすると、Fortran内部でregex_tを定義する必要があります。Fortranでポインタをそのまま参照渡しにするとCではregex_t**となってしまいます。

ですが今回はポインタだけを持っています。つまりFortranでregex_tとして扱い、Cにもregex_tとして受け渡したい。 ここでポインタはアドレス値を示す整数だと思うと、アドレス値をそのまま渡しています。なのでポインタの値渡しとなります。

ここでポインタはFortranのPointer属性とは関係ないことに注意してください。CのポインタをFortranで扱うためのただの構造体です。

参考：FortranとCのPointer

モジュール関数の実装

コンパイル部

まず正規表現コンパイル部分C_regcompをFortranから呼び出しやすい形にします。

subroutine regcomp(this,pattern,flags,status) type(regex_type), intent(out) :: this character(kind=c_char, len=*), intent(in) :: pattern character(len=*), intent(in), optional :: flags integer, intent(out), optional :: status integer(C_int) :: status_ integer(C_int) :: flags_ allocate(this%buffer(32)) this%preg = c_loc(this%buffer(1)) flags_ = 0 ! Todo: flagの設定 status_ = C_regcomp(this%preg, trim(pattern)//C_NULL_char, flags_) if (present(status)) then status=status_ endif if (status_/=0) then stop 'Regex runtime error: regcomp failed.' end if end subroutine regcomp

実はFortranWikiの実装の劣化コピー。 ここでregex_t構造体に相当するメモリを確保します。regex_type中のbuffer配列は32バイトとして、これはsizeof(regex_t)で得られた結果からです。 正直それ以上に余分にとっても大丈夫じゃないかなとは思います。

マッチング実行部

続いて、正規表現マッチ実行部。C_regexec関数を呼び出します。

logical function regexec(this,string,nmatch,matches, status) result(match) type(regex_type), intent(in) :: this character(kind=c_char, len=*), intent(in) :: string integer(c_size_t), intent(in) :: nmatch type(regmatch_t), intent(out) :: matches(nmatch) integer, intent(out), optional :: status integer(C_int) :: status_ integer(C_int) :: flags_ integer(c_size_t) :: regerror, errorbuf_len ! regerrorの引数・戻り値を埋めるための変数 character(kind=c_char, len=100) :: errorbuf ! エラーメッセージを持つための変数、長めに確保 flags_ = 1 status_ = C_regexec(this%preg, trim(string)//C_NULL_char, nmatch, matches(1), flags_) match = status_==0 write(*,*) "exec status = ", status_ if (present(status)) then status=status_ else if (status_ /= 0) then errorbuf_len = int(len(errorbuf), c_size_t) regerror = C_regerror(status_, this%preg, errorbuf, errorbuf_len) write(*,*) "error message: ", errorbuf(1:index(errorbuf, C_NULL_char)) else if(status_ /= 0 .and. status_ /= 1) then stop 'Regex runtime error: regexec failed.' end if end function regexec

これもflagの自由度が減った劣化コピーですが、工夫したところとして、20行目～22行目のエラーメッセージの取得。 C_regerror関数はここで使います。

メモリ解放部

最後に後片付け。

subroutine regfree(this) type(regex_type), intent(inout) :: this call C_regfree(this%preg) deallocate(this%buffer) end subroutine regfree

これらを、regex_moduleのcontains以下に定義します。

プログラム本体

このregex_moduleを利用するプログラム例。

program test_program use regex_module logical :: match integer(c_size_t) :: nmatch type(regmatch_t), allocatable :: matches(:) type(regex_type) :: regex nmatch = 5 allocate(matches(nmatch)) call regcomp(regex,"abc\(.*\)\(ghi\)") match = regexec(regex,"abcdefghijk",nmatch,matches) write(*,*) 'match =',match do i = 1, nmatch write(*,*) "match position", i write(*,*) " start:", matches(i)%rm_so, ", end:", matches(i)%rm_eo enddo call regfree(regex) end program test_program

１３行目から１６行目が、マッチング位置のインデックスを表示する方法となります。

テストとしては、abcdefghijkの11文字のうち、abcdefghiが1つ目のマッチ、defが2つ目のグループのマッチ、ghiが3つ目のグループのマッチ。

regex_moduleを定義しているソースコードがregex.f90、プログラム本体をtest.f90とすると、コンパイル・実行は

gfortran regex.f90 test.f90 ./a.out

となります。結果はこのようになります。

exec status = 0 match = T match position 1 start: 0 , end: 9 match position 2 start: 3 , end: 6 match position 3 start: 6 , end: 9 match position 4 start: -1 , end: -1 match position 5 start: -1 , end: -1

もし、対象の文字列を適当に変更してマッチしないようにした場合、

exec status = 1 error message: regexec() failed to match match = F match position 1 start: 6445715608 , end: 0 match position 2 start: 0 , end: 0 （以下略）

となります。

なお、例によってメモリリーク等はチェックしていません。

これから