人間は、複雑で巨大で、そのままでは扱えへん現実を、「言葉」「概念」「数字」「組織」「制度」「指標」へ変換して、扱えるようにする。
ところが、その「扱えるようにしたもの」が、元の現実そのものやと思い込まれた瞬間、代理物が現実を食い始める。
そして恐ろしいのは、この変換は人間が生きていくために不可欠やから、完全にはやめられへんことやと思う。
本当に知りたいもの
↓
直接測れない
↓
代わりに測れるものを置く
「所得は幸福そのものやない」
「テストの点数は教育そのものやない」
「事故件数は安全そのものやない」
「国民の健康」という巨大で曖昧な現実が、「課の仕事」という把握可能な単位に変換される。
これは人間の認知能力からすれば、ものすごく合理的や。
「地球環境」という巨大な現実が、プロジェクトが扱える現実へ変換される。
4．つまり、人間は「現実→代理物」へ変換せんと動けへん
概念とは、現実を扱える大きさに圧縮する装置である。
7．「測れるもの」を作るということは、「測れないもの」を捨てることでもある
「測れるってことにしたもん」が、「測れないとされてしまったもん」を虐殺しかねない
見えない
↓
評価できない
↓
報酬されない
↓
人がやらなくなる
↓
本当に消えていく
「測れない」から無視しただけやったものが、本当に死ぬ。
8．これを「存在論的な虐殺」とまで言える場合がある
「制度上、存在しないものは、制度の世界では存在しない」
善が、善を実現するための形式によって、別の善を殺す。
運転技術が上手い人ほど、正確に間違った場所へ到着する。
「呑気なアホが、仲間同士・自然との関係で、のんびりやっとるときは、そういう虐殺のリスクは低くなる」
巨大な最適化システムはないけど、環境とのフィードバックが直接ある。
13．「のんびり」は、現実からのフィードバックを残す
人間 ↔ 人間
人間 ↔ 動物
人間 ↔ 土地
人間 ↔ 天候
人間 ↔ 季節
毎回、一人ひとりの死を生々しく感じていたら、軍隊は命令を実行できへん。
「人間が死んでいる」という現実が、「作戦の進捗」に置き換わる。
抽象化されたものが現実そのものになると、森そのものが見えなくなる。
「指定した評価関数について、他のものを犠牲にしてでも良くすること」
何を最大化するかを決めた瞬間、何かを捨てる方向も決まってしまう。
18．「測れないもの」は、最適化システムから逃げる
測れるもの
→ 最適化できる
→ 改善できる
→ 評価できる
→ 報酬できる
測れないもの
→ 最適化できない
→ 評価できない
→ 報酬できない
→ 優先順位が下がる
可視化そのものが悪いんやなく、可視化された世界を「世界そのもの」と思うことが危険
森
川
虫
土
鳥
微生物
水
季節
温度
光
人間
人間の欲望
労働
家族
技術
土地
資源
信用
文化
感情
言語は、人間が現実を把握するための強力な圧縮技術である。
が、原始的な意味での「本末転倒」なのかもしれへん。
「地図を使うな」ではなく、「地図を地面と取り違えるな」
22．そして官僚制とは「地図を大量に作る文明」でもある
地図の整合性を保つことが、領土を良くすることより重要になった瞬間
23．「頑張る」が危険なのは、フィードバックを失ったとき
**「頑張っている方向を、現実が修正してくれなくなった状態」が危険
制度の間違いを、制度の中で一生懸命解決しようとする
正義を実現するために作った分類が、個人を分類に押し込める
27．「まあええやん」が文明のブレーキになることがある
一見「無駄」なものが、システムの安全装置になっている。
31．AI時代に本当に怖いのは「最適化能力の爆発」
目標を与える
↓
24時間
↓
大量の情報
↓
大量の試行
↓
自動評価
↓
改善
↓
また試行
「あなたが指定した指標を、ものすごく忠実に、ものすごく賢く、ものすごく大量に改善しました」
33．だからAIに必要なのは「もっと賢くする」だけでは足りない
「この指標を最大化した結果、何が犠牲になっていますか？」
「この数字が上がったことで、現実世界では本当に良くなっていますか？」
ここで、前に話してたScientist AI的な発想ともつながると思う。
「現場の現実とモデルの数字が乖離していませんか？」
35．結局、人間は「世界を扱うために世界を切り刻む」
人間文明とは、現実を「把握可能な単位」に切り分ける文明でもある。
切り分けたものを現実そのものと思い込むと、切り捨てられたものを殺し始める。
人間が複雑な世界を扱うために「代理物」を作る以上、必ず発生し得る副作用
37．そして「真面目・正義・頑張り」は、そのズレを増幅する
善意 × 有能さ × 真面目さ × 組織力 × 最適化能力
38．だから「アホ」は、ある意味で文明の免疫系になる
「人間相手の話やから、そんな簡単に割り切れへんで」
最適化システムが見落としている現実を、人間に返してくれる窓
人間は、現実をそのまま扱えへん。
せやから、言葉・概念・数字・制度・組織・指標という「把握可能な代理物」を作る。
それによって文明は成立する。
しかし、代理物は必ず現実を取りこぼす。
そして人間は、取り扱いやすい代理物のほうを、本来の現実より大事にし始めることがある。
さらに、人間はその代理物を一生懸命に改善できる。
だから「マジメに頑張る」ことが、現実とのズレを修正するどころか、ズレを猛烈に拡大することがある。
と、問題を一段広げて考えたほうがええんやないかと思う。
「いまワイらが最適化しているものは、本当に守りたかったものそのものなんか？」
数字を上げる。
件数を増やす。
制度を守る。
組織を拡大する。
GDPを上げる。
生産性を上げる。
安全性を上げる。
公平性を上げる。
AIの性能を上げる。
「その向こう側で、何が測れなくなった？」
「何が見えなくなった？」
「何を切り捨てた？」
「誰が『それは数に入ってへん』ことにされた？」
「そして、本来守りたかったものは、ほんまに良くなったんか？」
そう考えると、**「呑気なアホ」**というのも、単なる怠け者の比喩やなくて、かなり深い意味を持ってくる。
「何でもかんでも意味・目標・数字・役割・効率に変換してしまわない能力」
それは一見、文明の反対側にあるように見えるけど、実は文明が自分自身を食い尽くさないための、文明内部のブレーキなのかもしれへん。
そしてたぶん、「本末転倒」という言葉の怖さはここにある。
本と末を間違えるのは、一瞬の判断ミスやない。
人間が世界を理解し、組織し、頑張り、成功する――その能力そのものから、自然に発生してしまう。
せやからこそ、時々「何のためやったんや？」と、代理物から現実へ戻るための回路を持っとかなあかんのやと思うわ。
prguitarman
ellievsbear
vaporwave
pixelskylines
