NPO評価研究所

先週末、「ソーシャルファイナンス研究会」（小林立明さん代表）の第5回セミナー「社会的価値基準について」に参加してきました。

社会的インパクトの考えを理解する上で、とてもよい学びになったのでメモを共有しておきたいと思います。（概要や登壇者の経歴についてはこちら(pdf)）

感想として、今後はとにかく、評価の事例というより、評価によりインパクトが拡大した事例をどんどん共有していかなきゃなと思いました。

＜小林さん＞

社会的価値の定義について、受益者アプローチと投資家アプローチがある。前者は、受益者の変化を多様な方法でとらえようとしている。後者は、資金の流入のために価値基準の標準化が必要と考え、IRISがグローバルスタンダードになりつつある。社会的インパクト投資家は、社会・環境パフォーマンス評価を重要視しているが、その活用についてはまだ不十分で、組織内の体制も整っていない。

社会的インパクト評価の標準化にはメリットとデメリットがあり、どうバランスをとるか今後の課題。

 ＜馬場さん＞

社会的価値については、NPOや企業による社会的インパクトの説明（SROIやtriple bottom line）という流れと、 財政削減という目的 の公共サービス改革の流れがある。（社会的インパクト評価はごっちゃになっている。）

社会的価値を確認する制度として、ＣＳＲや統合報告書に対して第三者の意見を表明するAA1000シリーズやISAE3000といった基準がある。これらは、レポートの（限定的）保証業務であり、社会監査とは言えない。

＜藤田さん＞

社会的インパクト評価が、資本市場において会計情報が果たす役割と同じように、資金が効率的に循環する役割を果たすのではないか。

主な論点：

論点１：社会的インパクト評価の目的（説明責任or学び・改善）

論点２：比較可能性の追求（指標の標準化orプロセスや報告方法の標準化）

論点３：科学性or実用性

 ＜伊藤さん＞

米国評価学会（AEA2016）とそのサイドイベントImpact Convergenceに参加しての報告。キーワードは：

コレクティブインパクト（これまでに引き続き？）

イノベーションの生成プロセスにフォーカスするdevelopmental evaluation（多くのセッションがテーマとして扱った）

インパクト・マネジメント： インパクトは測れるのか、どう測れるのかではなく 、どう評価を使ってインパクトを最大化するか、イノベーションを促進するか、という議論に移行している。

 最近、社会的インパクト評価という言葉が国内の非営利セクターに出回り始めました。社会全体が成果志向になり、成果のPDCAサイクルを回すために社会的インパクト評価が実践されていくことは必要なことだと思います。ただ、社会的インパクト評価は、「事業評価」の１つの視点にしか過ぎません。例えば、国際協力の業界だと、DAC評価５項目と言われる妥当性、有効性、インパクト、効率性、持続性が５つの評価視点となっていて、社会的インパクト評価は事業の目標が達成されるかを問う有効性とインパクト（部分的？）しかカバーしていません。

また、私が携わっている助成金のような、スタートアップ支援という意味合いが強い場合ですと、助成後も事業が続くかどうかの持続性や、助成した事業モデルが他地域にも展開していくかという波及効果なども気になります。ちなみに、先月は、財団に入って3回目の申請書の査読だったのですが、「そだてる助成」の応募については事務局で以下の順番で評価しました。

趣旨との合致度合

妥当性（課題やニーズの把握）

有効性（ロジックモデルのもっともらしさ）

実現可能性（活動内容、主に主体となる組織の実績、チームメンバー、スケジュール）

持続性と波及効果（ビジネスモデル全体、予算、助成期間終了後の計画）

 最後の、持続性と波及効果は、事業性と言い換えてもいいと思います。事業がどれぐらい社会的なインパクトを与えるかは大事ですが、どれぐらい”稼ぐ”ことができたかも忘れてはいけません。ここでいう”稼ぐ”は、自主事業による収入だけでなく、行政の委託事業や場合によっては会費や寄付、非金銭的なもの（物品、場所、ボランティア）も含めてもいいと思います。つまりは、ビジネスモデルそのものです。

では、事業性やビジネスモデルをどう評価すればいいのか。例えば、一般的なビジネスモデルを俯瞰するツールとして有名なのが、ビジネスモデル・キャンバスです。　詳しくはググっていただければと思いますが、例えば９つあるフィールド間の整合性が評価のポイントになってきます。

また、「稼ぐNPO~利益をあげて社会的使命へ突き進む」 (藤岡 喜美子・後 房雄) では、写真のようなビジネス・モデル・シートが提案されていました。

ビジネス・モデル・シートの大きな特徴の一つは、資源提供者を特定し、受け取る金銭的・非金銭的資源と、それに対して提供できる価値（”吸引力”）を可視化しているところです。ステークホルダーの多さに対応したフォーマットですが、前出のビジネスモデル・キャンバスと組み合わせたらもっとよくなる気がします。いずれにしろ、事業性を評価し改善するのに使えそうです。

最後に、先日参加した講座の話をしたいと思います。（水谷さんのブログも合わせてご覧ください。）講座のメイントピックは、Theory of Change（ToC、セオリー・オブ・チェンジ、変革理論、変化の理論）。「事業がどう社会変革に寄与するかを、理想から逆算で因果関係で説明した体系」と定義づけられ、人間の背骨に例えられていました。

ToCの特徴としては、

成果、仮説、介入（活動）をロジカルにつなぐ。

究極成果を説明責任の境界線の上に置き、長期成果（長期アウトカム）までを、責任範囲内とする。

参加型のプロセス（ロジックモデルとの違い）

その効果として、

想いを管理するツール

異なるセクターと協働する上での共通言語（コミュニケーションツール、エクスぺくテーションマネジメント）

また、注意点として

定期的に振り返り、見直すこと

助成金獲得のためになっては本末転倒

といったことが挙げられていました。

ただ、私がここで注目したいのは、ToCではありません。参加した講座は、社会起業家向けの連続講座の第4回目になっていて、今回は「事業の組織化」がテーマ。社会的企業を経営する上で、社会性と事業性の両立が大事で、社会性についてはToCを使いましょうという流れだったのです。事業性についてはほとんど触れられていませんが、CF（キャッシュフロー）経営が提案されていました。やはり、いくら成果を出せても、大きな社会課題であれば、事業がある程度持続・成長しないようでは意味がありませんよ、ということだと思います。

FBグループでは共有しましたが、評価の実践という意味で是非、トヨタ財団で開催した「NPO・地域づくりのための社会調査入門講座」をご覧いただければと思います。

講座の中で出てくる、サーベイ調査もしくはアンケート調査は、限られた選択肢の中から答えを選ぶような形を想定しています。しかし、実際にアンケート調査を行うとなると、自由回答項目を含めるのが一般的ではないでしょうか。また、その回答から多くのヒントが得られることも多いのではないでしょうか。

ただ、複数の自由回答を読んで全体的な解釈を与えたり、客観性を持たせるのは難しいかもしれません。それを可能にするのが計量テキスト分析です。選択式の質問の分析と、自由回答の計量テキスト分析の組み合わせによって、知見の相乗効果が期待できます。

計量テキスト分析を、初心者でも可能にしてくれるのが、「KH Coder」という フリーソフト です。このソフトは、アンケートの自由記述ほか、インタビュー記録や新聞記事など、さまざまなテキスト型（文章型）データを統計的に分析することができます。

現在プロボノで行っている「聞き書き甲子園」（ＮＰＯ法人共存の森ネットワーク）の事業評価で使わせてもらっているので、どういう感じかご紹介したいと思います。分析対象は、昨年度聞き書き甲子園に参加した100名のうち、アンケートに回答した58名分。

まず、語の出現数上位150を出力すると、以下の通りになります。ここから、特徴的な語をさらに分析していくと、全体の傾向が見えてきます。

例えば「人」という言葉と一緒に頻出する言葉を検索すると、以下の画面が出てきます。「話す」、「話」、「コミュニケーション」、「聞く」、「伝える」という、コミュニケーションに関する語が多いことが分かります。聞き書き甲子園は、森や海や川といった自然と向きあう名人に、高校生がインタビューするのですが、自然や伝統に関する語は、上位には出てきません。聞き書き甲子園の合宿や取材で、他の参加者や名人と接することで、人とコミュニケーションを取る大切さを体感しているようことがみてとれます。

出現ランキングだけでなく、出現パターンの似通った語をネットワークで表すことで、解釈を助けてくれる機能もあります。

非営利組織論や評価論がご専門の田中弥生さんがコレクティブ・インパクトという新しい社会課題解決手法についてブログで書いていました。コレクティブ・インパクトの必要性や事例については、ETIC横浜のブログにわかりやすく記載されているので、そちらも合わせてご覧ください。

 コレクティブ・インパクトは、評価の観点からも大変興味深く、実現させるために必要な4つの要素を見ると評価の新しいフレームワークともとらえることができるのではないでしょうか。ちなみに、4つの要素については、ETIC横浜のブログに記載ありますが、田中さんのブログで紹介されているStrive Togetherの英語サイトの方が「目標」や「データ」という単語が各要素の解説に含まれていて、評価との関連性が分かりやすく表現されています。

 先日、Discover Japanの「DMOとＤMCのつくり方」を読んでいたら、次の2枚の図が出てきて、まさにコレクティブ・インパクトの成功に必要な要素をまとめたような図ではと思ってしまいました。もちろん、「課題解決」か「観光地域づくり」かの違いはありますが、国内におけるコレクティブ・インパクトの事例が少ない中、DMO(Destination Management/Marketing Organization)の事例から学べそうなこともたくさんありそうです。

もう一つ、この図だと目標の共有が強調されていますが、コレクティブ・インパクトの場合は課題の解決自体を大きな目標（Shared Vision for Change）ととらえる方がいいようです。このプロセスについては、Empublicのブログの「協働プロセスに必要な社会的学習」が参考になりました。

今年6月に発行された日本NPO学会機関紙ノンプロフィット・レビューの特集が「非営利評価」でした。特集は、田中弥生氏（大学改革支援・学位授与機構）による紹介から始まり、以下４本の論文が続きます。

① 「インパクト評価の概念的整理とSROIの意義」（小関隆志氏（明治大学経営学部）、馬場英朗氏（関西大学商学部））

② 「SROI評価における課題と可能性―埼玉県ＮＰＯ関連事業の評価事例から学ぶー」（粉川一郎氏（武蔵大学）

③ 「評価の国際的潮流と市民社会組織の役割」（今田克司氏（CSOネットワーク）と田中弥生氏）

④ 「Excellent NPO Standards:Building Assessment Tool for NPOs in Japan」（田中弥生氏）

特集紹介で田中氏は、非営利組織は今後ますますその「評価力」が問われることになると書いています。その評価力とは、評価測定技術というよりは、「適切な評価目的、評価設問の設定とそれに見合う評価手法の選定眼」を持つことだそうです。評価を通じて何を達成したいか、そして何を知りたいかが決まったら、どんな評価手法が存在するのか知る必要があります。ただ、数多くの評価手法が存在するものの、「評価手法の選択方法は示されていない」という問題があります。研究者の方々に是非取り組んでいただきたい分野ですね。

①と②の論文は、評価手法の中でも特殊なSROIに関するものです。なぜ特殊かというと、学問的に「位置づけは不明確なままに、実務が先行している」（①）からです。SROIの概要については、ネットで探せば色々出てきますし、本ブログでもなんどか登場しているので割愛させていただきます。２つの論文を読むとSROIはメリットより、評価コスト、因果関係の曖昧さ、比較可能性の難しさといったデメリットの方が多くあるのではないかという印象を受けます。個人的にも、SROIは事実特定や説明責任には不向きだと思います。とはいえ、参加型評価の観点、つまりドナーや受益者を含めた「マルチステークホルダーの相互理解ツール」（②）としてとらえてもいいのではないでしょうか。ここでもやはり、評価を通じて何を達成したいかということがポイントになります。

④は、「エクセレントNPO」という組織評価を英語で紹介している形なので、詳しくはリンク先をご覧いただければと思います。

③では、既存の評価手法の限界から生まれた新たな評価アプローチの紹介と、そういった新しい潮流の中で市民社会がどう対応すればいいのかについて考察しています。簡単にまとめると：

国際開発目標（SDGs）やグローバル評価アジェンダといった国際的な流れがあり、その中で、市民社会組織（CSO）が評価の担い手として期待されている。

評価の潮流として、現在「第５の波」が来ている。「第４の波」は、「エビデンス主義の導入と、RCT（ランダム化比較試験）などに代表される精密なインパクト評価の潮流」だった。しかし、社会的イノベーションの分野では、そもそも因果関係を明確にするという試みは不毛という意見がある。「成果重視であるよりも価値中心」になってきている。（昨今の「社会的インパクト評価」の動きは、これに該当するのだと思います。）

「第５の波」と同時に、評価に携わるステークホルダーが広がっている。評価依頼者、事業実施主体、評価者に加え、政策決定者、投資関係者、間接的な関係者が評価に関心を持つようになってきている。また、倫理的投資やSIB、SROI、ESG投資、コレクティブ・インパクト、フィードバック・ラボといった動きと連動している。

複雑系の理論およびシステム理論の評価への応用として、「変化の理論」（Theory of change, セオリー・オブ・チェンジ、または「変化の法則」）というモデルがある。「変化の理論」は、１）長期的目的を達成するための条件、事業の結果、アウトカムなどの構成物を抽出し、２）構成物の間の関連を矢印でつなぎ、３）変化の道としって図式化したもの、と規定されている。ロジックモデルも「変化の理論」の一種と言えるが、「変化の理論」では、間接的な要素を含み、逆進性を認め、目標値が変更可能であるといった点がロジックモデルと異なる。「ケーキを焼く」や「ロケットを月まで飛ばす」といった問題であれば、ロジックモデルという単線系モデルで対応できるが、「子どもを育てる」というような複雑な社会変化については「変化の理論」の方が適している。

社会的イノベーションを起こすためなど実験的な取り組みについては、目標や時間軸は流動的であり、説明責任というよりは変化からの学習を目的としている。発展型評価というまだ発展途上の評価手法があり、注目している。

評価は、マネジメントの役に立ってこそ価値があるという考えが普及してきている。「発展型評価」の基本原則として、「タイムリーなフィードバック」があり、複雑な世界における実用的な評価に対応している。（タイムリーなフィードバックと聞いて、以前ご紹介したリーンデータが思い浮かびます。）

先日、国際開発センター所属で評価学がご専門の佐々木亮さんによる「NPO・NGO対象 インパクト評価研修」に参加してきました。

研修は1日にわたって行われ、午前は５つのインパクト評価のモデルの考え方、事例、事例の利点と制約について。そして、午後は、各自エクセルで実際データを操作しながら、指標の統計的分析方法について学びました。学んだ内容は非常に実務的で、すぐ事業の評価に活かせる気がしました。

 まず、インパクト評価の定義については以前、以下３通りがあるとご紹介しました。

長期的な社会経済的変化

間接的な効果（正負）

介入行為による純粋な変化量（実施した事業等により、「改善効果」があったかなかった、どれぐらいあったかについて答える）

これらは、まさに佐々木さんご自身による分類だったのですが、今回新たに４つ目の定義として、内閣府ＷＧの報告書で使われ、骨太方針2016 にも記載された「社会的インパクト評価」を挙げていました。実際は、「あらゆる変化」と読めるとのことで、「もう少し明確な定義が必要ではないか」という問題提起もされていました。個人的な見解としては、内閣府のＷＧでも本当は③の定義にしたかったのですが、それだとハードルが高いので、対象を広げたのではないかと思います。まずは、多様な評価方法があってもいいけど、組織の成長に合わせて③を目指すということです。

 今回の研修では、③のインパクト評価の3タイプ12種類あるとされるモデル（デザイン）の中から、５つのモデルについて学習しました。（詳細は「インパクト評価事例集」⇒図はここからの出典）

因果関係の特定のための信頼度が低い順に、

①    事前・事後比較デザイン

介入（事業実施）前と介入（事業実施）後を比べる手法で、最も単純で簡便だと言われています。最も実務で使われている手法でもあります。ただ、外部要因が取り除けないので、信頼度は低いです。介入がなければ変化はないだろうと言える場合（期間が短いなど）は有効かもしれません。例えば、研修の事後評価。アンケートだったら多くの方がやっていると思いますが、目から鱗だったのは、研修後だけについて質問するのではなく、研修前の知識レベル（自信度等）についても質問点です。それにより、前後の比較ができるのです。

また、興味深かったのが、最近国際協力の分野で、事業実施前の写真と実施後の写真を比較する手法が増えているということでした（例えば、教育プロジェクトで、設備や子どもたちの様子がわかる教室の写真）。

②     時系列デザイン

「施策介入前の長期的トレンドを導き出し、施策介入後にトレンドが変わっていれば、因果関係の存在を推定する」モデル。長期トレンドが最も大きな要因であればいいのですが、他の要因が取り除けないので信頼度は高くないと言われています。

③     一般指標デザイン

全国平均値など、対象となる地域・グループより広範囲の一般指標値を比較対象とします。同じ特性があることが前提ですが、ある程度の信頼は確保できます。また、対象となる地域・グループの影響力が多きすぎないことも必要。例えば、世田谷区と東京都を比較するのはいいかもしれませんが、東京都と関東圏を比較するのは問題があります。

④     マッチングデザイン

一般指標デザインに近いですが、対象地域・グループを含む地域・グループと比較するのではなく、可能な限り近い地域・グループを選定して比較します。地域であれば、近くの地域と比較することが多いです。人であれば、ＡさんとＡさんに似た特性（性別、年齢、職業、家庭環境等影響がある思われるもの）を持った人、ＢさんとＢさんに似た特性を持った人、ＣさんとＣさんに似た特性を持った人。。。といった感じで同質のグループを作ります。似た特性があれば、外部要因については、同じような影響を受けるので、因果関係の特定については高い信頼度が得られます。

⑤     ランダム化比較実験（RCT）

介入実施前に、事業の対象となるかならないかをランダムに決め（無作為割付）、実施グループと比較グループに分けます。測れることも測れないこともすべてが一致している集団を比較できるので、最も信頼度が高く、これ以上のものはないと言われています。医療分野で昔から使われている手法ですが、海外では教育や福祉分野などを中心に利用が急速に拡大してきているようです。

資料の中では、RCTなど評価を実施する主な利用目的として、①  団体が売りにしている事業の効果測定と、② 新規の事業の効果測定の2種類に分けることができるとのことでした。

また、評価を進める上で以下４つの注意点が挙げられていました。

定性と定量を組み合わせる

費用と時間はかかる。（全体予算の５％が目安。）

事業が終わってから評価を考えるのではなく、事業開始の時から組み込む。

測定できる指標ありきで考えるのではなく、ミッションから考え、個別の目標（アウトカム）を決めてから指標を探す。既存の指標がなければ開発すればよい。

2016年6月14日に開催されたSocial Impact Dayに参加してきました。イベントでは、社会的インパクト評価を取り巻く国内外の動きや事例等の紹介があった他、トヨタ財団も設立メンバーになっている「社会的インパクト評価イニシアチブ」の発表がありました。イニシアチブは、イギリスのInspiring Impactをモデルにしているのですが、イベントではそのプラットフォームづくりに貢献した非営利セクターのシンクタンク・コンサル会社のディレクターが基調講演をされました。その様子は是非、こちらからご覧ください。

今回のイベントでは、G8インパクト投資タスクフォース日本国内諮問委員会からの「社会的インパクト評価ツールセット実践マニュアル」のお披露目の場でもありました。中でも興味深かったのが分野別ツールセットで、現時点では「教育」、「就労支援」、「地域まちづくり」があります。各分野のロジックモデルのサンプルや、「自己肯定感の向上」や「地域内の職業機会と働き手の増加」に関する指標や測定方法など、具体的な事例が掲載されていてとても参考になります。http://impactmeasurement.jp/about/guidance.html　

イニシアチブでは、今後こう言ったツールセットの開発など、国内で社会的インパクト評価が広がるための様々な取り組みが、多様なセクターが協力しながらプロジェクトベースで立ち上がっていくことになります。

では、数年後にはどういったツールが開発されているのか。それを想像するには、先を行っているイギリスの状況が参考になると思います。「フィランソロピー・非営利・恊働　情報ボックス」のＦＢページで6月6日、英国のチャリティ・バンクが英国ＮＰＯの成長戦略を支援する１２のフリーツールを紹介しているサイトが紹介されています。その9番目にあげられているのが「社会的インパクト評価の改善を助ける無料ツール」。具体的には、５つのサイトが紹介されています。

最初は、上にも出てきたInspiring Impactで、様々なニーズに対応したツールを紹介しています。

これ以外にも多くのシンクタンクが特徴的なツールを提供しています。Nestaは、インパクトに関して良いエビデンスと悪いエビデンスを判断できるエビデンスの基準、Social Value UKは、実施している評価の自己診断ツールなど  、The New Economics FoundationはSROIを含め20以上の社会的インパクトのフレームワークを、そしてThe Charities Evaluation Services は、planning triangle tool という評価対象の絞り込み役立つロジックモデルのような独自のツールを紹介しています。.

英米では主流になりつつあるエビデンスに基づく政策形成（EBP: Evidence Based Policymaking)。 政策におけるエビデンスは、科学的根拠と訳すことができ、EBPとは、最良の利用可能な研究結果を用いて政策や事業を実施することを意味します。 つまり、感覚や経験、第三者の意見ではなく根拠に基づいて意思決定ができることにより、より効果的な政策・事業が可能になるのです。政府債務残高が世界一の日本だからこそ、少ない財源でより大きなインパクトを目指すEBPの普及が求められているのではないでしょうか。

先日、イギリスにおけるEBPの動向について研究された三菱UFJリサーチ＆コンサルティング(MURC)の研究員による勉強会が、某財団スタッフ向けに開催されたので、こっそり（最前列で）潜らせていただきました。プレゼンの中で最も興味深かったのが、MURCが神奈川県葉山町で実施中の「きれいな資源ステーション協働プロジェクト」です。葉山では、資源ごみの収集拠点である資源ステーションで、不法投棄が行われているという問題がありました。それに対して、どういった対策が効果的なのかを、住民協働で、ランダム化比較試験(RCT: Randomized controlled trial)を行っています。

住民協働という点は、町役場が町内会に呼びかけて実施したという経緯があります。通常、評価の専門家が事前モニタリングや介入時のモニタリングを行うのですが、今回は「エビデンスを『つくり』、『つたえ』、『つかう』一連のプロセス」において住民が関わるようになっているのです。

RCTは、介入対象と非介入対象にランダムに振り分けて、介入後の両方のアウトカム指標を比較する手法で、最も高い精度のエビデンスを得られると言われています。ちなみに、上述のMURCのレポート(p.5)では、RCTに向いている施策と向いていない施策を以下のように分類しています。

葉山では、住民ワークショップの結果、間違いによる不法投棄対策として注意喚起のチラシを配布をするステーション、ルール違反による不法投棄対策として収集終了看板の掲示をするステーション、そして何もしないステーションの3つのグループにくじ引きで割り振られたようです（ランダム化）。この研究の結果は8月以降になりますが、日本、特に自治体レベルの施策においてEBPが広まるきっかけになるのではと期待しています。

イギリスにおいてEBPが進んでいる理由の一つとして、中央政府、地方政府、研究者、NPO/NGO、財団、官民協働組織等によるエビデンスを創出・支援・利活用するエコシステムがあることが言えるようです。財団として何か小さな事例を作れないか、考えていきたいと思います。

助成財団業界で評価と聞いて真っ先に思い浮かぶ方が、セゾン文化財団の片山正夫常務理事です。その片山さんは、今年2月に出版されたセゾン文化財団の歴史を振り返る著書の中でも、「評価について考える」という章を設けていました。15ページ足らずの長さで、助成財団における事業評価のエッセンスが 詰め込まれていたのでいくつかご紹介したいと思います。

セゾン文化財団ができてから6年目の93年秋、当時事務局長だった片山さんは、フィランソロピー研究で有名なボルティモアにあるジョンズ・ホプキンズ大学へフェローとして留学しました。そしてレスター・サラモン教授（※）率いる政策研究所で半年間、芸術への助成プログラムの評価を学ばれました。そこで、以下のような財団からいくつかのヒントが得られたようです：

個々のプロジェクトより、プロジェクトの集合体としてのプログラムや戦略の視点で評価するフォード財団。（助成活動の改善に有効）

評価指標を事前に設定した上でプログラムを作り上げる財団。（ライラ・ワレス・リーダースダイジェスト・ファンドのように財団が設定する場合と、ピュー・チャリタブル・トラストのように助成先が設定する場合がある。）

顧客や有識者の採点ではなく、他の芸術家への影響に着目しているロックフェラー財団

また、共通認識として、

複数の評価手法を組み合わせたり、柔軟に取り組むのがよい

「評価は、常に目的を意識して仕事をするためのマネジメントツール」なので、「日常の業務の中にビルドインされるべきもの」

があったようです。また、柔軟という点では、あらかじめ決めてある評価指標にこだわるのではなく、『意図しなかった成果』にも価値を見出せるという考えがあり、片山さんも評価対象としています。その成果を可視化する方法として、「事業が催行された際に生じたさまざまなエピソードを採集する評価方法」を挙げられていて、帰国後に各方面に提唱されたそうです。これはまさに今トヨタ財団が取り組んでいる手法で、とても嬉しかったので注釈の内容ではありますが、紹介させていただきました。

片山さんが帰国し、セゾン文化財団の評価手法を決定したプロセスも興味深いです。

評価対象となる助成プログラムの特定：財源や業務負担を考慮し、「財団の仕事すべてを評価の対象としようとせず、まずは中心的なプログラムや、新しい、あるいは戦略的なプログラムを対象と」した。

評価の目的の特定（セゾンでは、説明責任も大事だけど、民間団体なので活動の改善に重きを置いたようです。また、「助成対象者とのコミュニケーションツール」や「支援の一環」ともとらえました。）

評価対象となる助成プログラムの目的の特定

評価方法の組み立て：

プログラムオフィサーによる現地訪問

外部評価委員による現地訪問

助成先との協業による活動レビュー（ビジョンや戦略策定の支援など、団体の組織基盤強化に近い）

助成終了後（3年）の訪問調査

さらに、プログラムの評価材料として

同種プログラムが官民の助成機関に普及していくこと（行政であれば制度化）

プログラムとしての助成の成果やコミュニティへのインパクト

申請者・助成対象者からみたプログラムの”使い勝手”の良さ

をあげています。その上で、定期的に立ち止まって、プログラムの存在価値を確認する重要性が書いてあります。それは時にはプログラムを終わらせることを意味しますが、同時により重要なプログラムに使える財源が生まれるのです。（『評価はプログラムを終わらせるための手段』）

片山さんは6月30日午後に 「助成/財団を考える～『セゾン文化財団の挑戦』より」というテーマで講演されるようなので、評価について意見交換してきたいと思います。

3回目で最後の「リーンデータによるインパクト評価」講座を受講しました。前回、アンケートの設計から、データの収集方法について学びました。今回は、そこから得られたデータをどう料理するかです。テキストは、第一回目に出てきたケーススタディーについて、実際どういうデータが得られ、事業にどういった改善をもたらしたかという紹介がありました。

リーンデータは、リーン・スタートアップ手法の中心となる、build（構築）-measure(測定）- learn (学習）サイクルの各項目において活用することができるとしています。Buildの時点では、試作品についてリーンデータを集め、measureでは計画していた価値提供ができているか確認し、そしてlearnでは新たな改善案や開発した試作品・サービスについてリーンデータを集めることが可能としています。

その上で、リーンの特徴として以下３点があげられています。

緻密な計画より、とりあえずやってみる。

直観ではなく、顧客の声を優先。

伝統的な「詳細設計」ではなく、繰り返し計画を見直しながらが重要。

（ちなみに、リーン・スタートアップの起源はトヨタ生産方式！）

ワークブックでは、まずデータを扱う際の注意点として、アンケートの回答者が”優しく”、実際より良い評価を付けてしまうことがあること、また極端な意見には振り回されないようにとしています。

次に、データの分析のプロセスとして、以下3つのステップが提案されています。

生データをチームメンバーに共有

各メンバーが、データから発見したことをポストイットに記入

出てきたポストイットを整理。多く集まったテーマや分類が、改善につながる重要な発見の可能性が。

このプロセスは、質的データのときに有効ですが、量的データでも応用可能とのこと。

上記プロセスを通じて、どの指標を進捗管理のために追いかけ、どう図式化したらいいかある程度見えてくると思います。そこで便利なのが、データをグラフ等で可視化する無料オンラインツール。ワークブックでは５つ紹介されていました。

DataHero : 2週間無料。データを常に更新して、KPIの一覧（ダッシュボード）を通じて進捗を測るのに最適。

Silk : 図やチャートに加え、写真や画像を”データカード”として保存・公表。1000データカードまで無料。

Infogram : 10の図、地図、インフォグラフィックまで作成・公開無料。（ダウンロードは無料。）組織内の管理目的より対外的に共有するのに有効。

plotly : 図やチャートを無料で公開でき、コピペも可能。

前回に引き続き、アキュメンが提供しているオンライ講座「社会的インパクト評価におけるリーンデータ手法」の第2回目についてです。前回は、リーンデータの特徴や、事前になぜ評価し、何を評価し、いつ評価できそうなのかといった確認をワークショップ形式で行いました。

今回は、リーンデータの根幹であるデータの集め方（どうやって評価するか①）について学びました。（テキスト）データ収集は以下７つのステップで実施します。

調査票の設計

調査方法の選択

連絡先の入手

テスト

調査準備

調査実施

結果検証

＜①調査票の設計＞

冒頭に 利用許可と調査目的を明示。

設問数は、10以下にとどめるのがおすすめ。5-7問以上になると回答率が下がるようです。どうしても多くなる場合は、半分聞き後日残りを質問する。

選択回答だけでなく自由回答も混ぜる。

顧客以外にも聞く（なぜ利用しない・買わないのか。）

ワークブック には具体的な事例に基づく設問例が紹介されています。

＜②調査方法の選択＞

まず、対面による調査か遠隔による調査か。

以下の場合は対面

設問が15以上

自由回答が多いもしくは、解説が必要のような質問がある

回答者の特定が必要。

80％以上の回答率が必要。

以下の場合は遠隔

設問が15未満

選択回答がほとんど

回答者の特定が必要ない。

回答率が高くなくてもよい。

調査方法については、SMS（ショートメッセージ）、自動音声応答(IVR)、電話、対面、センサーなどが紹介されていて、それぞれのメリット・デメリット、そして12の具体的なツールが紹介されています。アキュメンの活動地域ではメールがあまり使われていないため、軽く触れられているだけですが、メール調査のツールは4つ紹介されています。その中でも日本語の画面があるのは、グーグルフォームとサーベイモンキー。日本語の画面はありませんが、検索すれば解説しているブログが見つかるのがQualtricsとtypeform

遠隔での調査方法を選ぶには以下フローチャート参照。

複数の調査方法を組み合わせると効果的

＜③連絡先の入手＞

入手するときに許可を得る。

調査対象から外れる選択肢を与える

調査目的、データが何に使わられ、誰と共有されるかを説明。

調査対象者がどのようなメリットを享受できるかを伝える。

＜④テスト＞　質問票が理解してもらえるか、わかりやすいかなど、少人数にたいして対面（グループもしくは1対1）で検証する。

＜⑤調査準備＞　調査員に必要な情報・技術を伝える。

＜⑥調査実施＞

発展途上国で事業 （BoPビジネス） を展開する社会起業家に対して投資をしているアキュメンが提供しているオンライ講座から、「社会的インパクト評価におけるリーンデータ手法」(Lean Data Approaches for Measuring Social Impact)を受講しました。全3回の第1回目です。

講座では、アキュメンが2014年からパイロットで始めた新しい評価手法について共有されています。リーンデータという表現が使われていますが、リーンはリーンスタートアップで使われているように、小さく&素早く&スマートに的な意味があります。これまで評価は面倒で大掛かりでお金がかかる割に、事業者・顧客・受益者にはあまり意味のないものとされていましたが、リーンデータはその逆を目指しています。リーンデータの特徴は：

顧客第一

低コスト技術の活用

迅速なフィードバックサイクル

意思決定のためのデータ

これまでの評価というと、事業者・NPOがドナー・投資家が求める情報を提出することを意味していましたが、顧客第一になると、事業者・NPO・顧客・受益者にとって有益なデータを集めることになります。下記図のように、「トップダウンなコンプライアンス」と「顧客（受益者）目線の説明責任」に区別することができます。

リーンデータのその他の特徴は、第2回目と3回目の講座で詳しく学べると思いますが、要はSMS（ショートメッセージ）やスマートフォンなどを活用して顧客・受益者の負担感なくデータを集めて、常に最新の情報に基づいた意思決定につなげて行こうということです。アンケートの設問については最低限（10問程度まで）。最後、製品やサービスについて自由回答欄を設けると、改善につながりやすいようです。（評価というより、通常の顧客満足度調査ですね！）そして、最後に 「アンケートは、あなたにとってためになりました？」と聞くのと、 アンケート結果をちゃんと回答者に伝えることそうです。まさに顧客第一ですね！

アキュメンのChief Innovation Officer、Sasha Dichter （動画）によると、リーンデータをパイロットでやってみたところ、成果がとても出たので、組織の全事業への展開だけでなく、セクター全体に広めて、アキュメンの”レガシー”（業績・成果）にしようという戦略です。また、異なる事業間の比較検討もある程度できるのではという紹介がありました。具体的には、「○○という製品・サービスによってあなたの人生は変わりましたか？」といった質問をし、「非常にそう思う」、「そう思う」・・・などと答えた人の割合を比較するのです。各事業の評価だけでなく、事業間の評価が必要な場合にこういった設問があると参考になりそうですね。

データは、人間の営みを表している、個人的なストーリーだ、と強調していたのが印象的でした。

講座は、上記15分程度の動画の他、1時間弱で読めるテキストと、課題提出のベースとなるワークブック があります。課題は、自組織の事業もしくはワークブックで紹介されているケーススタディを基に、できれば複数名でワークショップ形式で実施する設定されています。 （2時間程度）

リーンデータを実施する上での考えないといけないことは：

インパクト（アウトカム、成果）を生み出す道筋（仮説）は何か。

インパクトを評価する上で、顧客・受益者に対してどんな質問をする必要があるか。

上の質問を低コストで面倒に思われないように聞くには？

顧客・受益者が、どうすればこれらのデータを集めることに意義を感じられｒか。

これらのデータがあったら、事業を改善するためにどういった意思決定ができるか。

ワークブックでは、①過去の評価活動から学ぶ方法、②データを通じて改善したい内容の優先順位（製品デザイン、マーケティング、顧客満足度、初来のファンドレイジング、貧困層に貢献できているか、顧客・受益者の態度や願望の理解）→なぜ評価するのか、③何を顧客・受益者に約束するか（下記テーブル参照）→何を評価するのか。④どいういったタイミングで顧客・受益者と接点を持つことができるか。について議論できるようになっています。

年明けからオブザーバーとして参加してきた社会的インパクト評価検討ワーキング・グループから、年度末に報告書が公開されました。今後、日本国内においてインパクト評価を議論を進めていく上での基礎となる資料になると考えられるので是非、概要だけでもダウンロードしてみてください。

上記のように、事業を評価していこうという動きと同時に、組織の評価の動きもあります。それが、4月1日に設立された一般財団法人非営利組織評価センターによる、評価制度です。今日（4月7日）、その評価制度をブラッシュアップする目的の委員会の第一回目の会合があり、委員として参加させていただきました。評価自体はこれからパイロットで始まるようなので、ご関心がある方は是非ホームページを確認してみてください。

上で挙げたインパクト評価と組織評価の共通点は、視点がどうしても支援者（投資家・ドナー）側になりがちということです。評価される側の参加なしで、どこまでNPO等にとって有益なフレームワークができるか、不安な部分があります。同時に、これはある程度仕方がないことでもあると思っています。企業にとっての財務会計基準があるように、非営利組織にとっても、ステークホルダー（特に支援者）との共通言語としてのインパクト評価や組織評価の仕組みが出来上がって行っているのではないでしょうか。

しかし、ここで終わってはいけません。企業には、経営の本当に役立つ、つまり意思決定と業績管理に活かすことができ、企業ごとにルールを設定できる管理会計という考え方があります。財務会計は外部に公表するための会計であり、管理会計は内部の人間を対象にした会計の仕組みなのです。非営利組織も同じように、成果をより出すための評価手法を各組織で追及していく必要があると考えます。

それを推し進める方法の一つとして、NPO等間でグッドプラクティスを共有できるプラットフォームがあったらどうでしょうか。非営利だからこそ、現場で使える評価手法・ツールの共有が図れると思うのですが。それからおすすめしたいのが、トヨタ財団がトヨタ自動車の協力を経て提供する「カイケツ」。トヨタの問題解決手法を学べる連続講座です。「評価」という言葉は使われていませんが、実はこれが「経営に本当に役立つ」評価の一つの形なのではないかと。（ちなみにこちら、お申し込みが4月14日までとなっております！）

これまで通り非営利組織が評価をしなければ、非営利組織の自己満足になってしまう。

今動き始めている支援者目線の評価だけでは、支援者の自己満足にとどまってしまう。

これから増やさないといけないのは、非営利組織の改善につながる評価、つまり”受益者”の満足。

内閣府が主催した「社会的インパクト評価検討ワーキング・グループ」。全5回のうち、初会以外にオブザーバーとして参加させてもらいました。

WGでは、国内外の事例の発表と、第5回目の配布資料にある「社会的インパクト評価の推進に向けて（案）」 と「社会的インパクト評価にかかる課題と対応策」について議論し、まとめ上げてきました。近々最終版が公開される予定です。内閣府としては、これらを基に民間主導で”対応策”に取り組んでほしいとのこと。その背景には、いくつかの理由が「社会的インパクト評価の推進に向けて（案）」に記載されていますが、ここにない（かけない）理由として、国会で審議されようとしている休眠預金活用法案があります。これまで国庫に納められていた10年以上取引のない預金口座残高年数百億円が、公益活動に活用されようとしているのです。そして法案には、活用の条件として社会的インパクト評価の実施が義務付けられており、今回のWGは、その実施のための基盤整備の第一歩と位置づけられるのではないかと思います。

社会的インパクト評価検討WGの構成員には以下通り。

伊藤 健 慶應義塾大学 大学院 政策・メディア研究科特任助教

源由理子 明治大学公共政策大学院 ガバナンス研究科教授

馬場英朗 関西大学 商学部准教授

今田克司（一財）ＣＳＯネットワーク代表理事

岸本幸子（公財）パブリックリソース財団 専務理事・事務局長

水谷衣里三菱ＵＦＪリサーチ＆コンサルティング(株)ソーシャルエコノミー研究センター副主任研究員

岡本拓也（特活）ソーシャルベンチャー・パートナーズ東京代表理事

長満崇 日本政策金融公庫 国民生活事業本部 融資企画部 融資企画グループリーダー

中川 剛之 （公財）三菱商事復興支援財団 事業推進チームリーダー

木村真樹 （公財）あいちコミュニティ財団 代表理事 コミュニティ・ユース・バンク momo 代表理事

毎年この時期に開催されるファンドレイジングの最大イベント、ファンドレイジング日本2016に、日本マイクロソフトの龍治れなさんと、埼玉県共助社会づくり課の今川知浩さんと登壇させていただきました。お題は「社会を変える評価2.0～資金の出し手が求める社会的インパクト評価とは」。

当日私が発表した部分を共有させていただきます。（発表しそびれた内容も含まれます。。。）

なお、龍治さんのプレゼン資料はこちら→http://1drv.ms/1RftLnu

トヨタ財団の評価の取り組みについて：

プレゼン資料→　http://1drv.ms/1UpCclG

私は、この企画をFRJ提案させていただいた張本人なのですが、実は以前NPOでファンドレイズする立場にいたことで、ファンドレイジングに対して若干アレルギーになってしまいました。ただ、特定のファンドレイジングに対するアレルギーだということがわかりました。それは、評価がセットになっていないファンドレイジングです。新卒で入った保険会社では、財務諸表（つまり組織の経営状態や活動実績を表す書類）を作る仕事をしていたのですが、NPOで評価をしないということは民間企業でいうと、いくら売り上げたかわからないのと同じなのです。銀行や株主からお金を調達して、でもいくら儲けが出たかわからないといのはあり得ませんよね。ところが、評価をちゃんと実践できていない非営利組織は多くあることに気が付いたのです。そんな問題意識をもちながら評価について勉強したところ、評価にはいろんな可能性があることもわかりました。

この週末、京都で日本NPO学会の年次大会が開催されていいますが、ちょうど1年前の大会では「ＮＰＯ評価の最前線と日本での活用」というセッションがありました。学者や評価専門家、現場の視点に加え、海外の潮流について触れられていてとても参考になったので、次の通りまとめてみました。ご参考までに！

＜田中弥生さん（大学評価・学位授与機構教授）＞ ・「評価」は、まだまだ新しい学問。体系化されていない。 ・評価で大事なことは、5W1Hを事前に明確しておくこと。 ・評価には、階層構造があり、費用便益分析は、その一番上部階層。近年SROIが流行しているが、階層のベースであるニーズアセスメントや事業計画、プロジェクト評価を飛ばしていきなり費用便益分析というのはちょっと違うのではないか。 ・経営と評価の融合、評価結果を踏まえて経営へフィードバックすることが重要。 ・事後評価より事前評価（計画の妥当性）が重要。

＜今田克司さん（ＣＳＯネットワーク）＞ ・評価＝説明責任という流れから、評価＝学びという視点が見直されている。 ・マネジメントツールとしての評価という視点も出てきている。 ・戦略的投入をすればそれに見合った成果が見込めると考えるアメリカの財団の戦略的フィランソロピーへの反発から「展開評価（Developmental Evaluation）」という考えが出てきている。まだ、日本では紹介されていない。目標設定やフレームワークが簡単には決められない事象を評価する。

＜若林千賀子さん（若林環境教育事務所）＞ ・地球環境基金は、助成活動に関する第三者評価を実施。若林さんは、その委員の一人 ・評価の目的、①（地球環境）基金の意義、②助成団体の活動意義、③持続可能な社会の実現のため。 ・環境分野の団体は、「何のために活動を行っているか」に対する明確なロジックを表現する力が弱い。それ故に地域で対立構造を生んでしまう。例えば、○○を保全するというのが目的化しており、その先に何のためというのが明確でない。 ・多様なステークホルダーをどう巻き込んだかという指標が重要。