Superintelligence: Paths, Dangers, Strategies Paperback – May 1, 2016

ニック・ボストロムは10数年以上前から主にオックスフォード大学研究所(Future of Humanity Institute)のサイト及び彼自身のサイトの諸論文などで読んでいたとはいえ、本書を原書で初めて読んだときの衝撃は凄いものだった。それはともかく、レビューとしては申し訳ないのだが、ここで非常に深く多岐にわたる彼の考察を下手にまとめることは躊躇われる。本書は決して専門筋対象の本ではなく、現存する最も優れた哲学者の一人による、世界的に大変な影響力を一般市民から最先端の開発者にいたるまで及ぼし続けてきた現代人必須の教養書として位置づけられるべきものである。以下に最重要論点を紹介したい。ボストロムは、「このようなマシン（引用者付記：人間の知能を超越したレベルの知能を有するマシン・インテリジェンス）が実現されるのはタイミング的に、人間と同等レベルのマシン・インテリジェンスが実現された瞬時先である可能性がある。」（25頁）と述べている。つまり、ニック・ボストロム のいう「スーパーインテリジェンス」は、もし誕生するとすれば、再帰的に自己更新するAIとして誕生し自己を再創造し続けると考えられるため、人間と同等レベルの人工汎用知能が自律的な自己創造＝爆発的な進化プロセスに突入してからスーパーインテリジェンスレベルに到達するまでの時間が瞬時の時間である可能性があるということである。もちろんそれが例えばミリセカンド単位なのか数十時間単位なのか我々人間には予測不可能である（そもそもそうしたケースではマシンそれ自体の時空認知フレームが我々人間の時空認知フレームと異なり独立していると考えられる）。なおここで「人間と同等レベル」とは、「人間の成人と同じレベルで自然言語を理解できる」（45頁）ということである。蛍の集団における点滅のリズムなど自然界の同期共鳴（シンクロ）現象も、ある時点を境に全く異次元レベルでの高度な同期レベルに相転移的に跳ね上がることが数式レベルで知られてきているが、それと似たような事態が未来のいずれかの時点でスーパーインテリジェンスの誕生という形で生じないと断言することはできないだろう。もちろんそれ以前に、閉鎖環境下で秘密裏に極めて高度な（完全に汎用的でかつそれを超えたレベルのものではなくても）AI開発に成功したいずれかの国あるいは高レベル組織による「極めてまずい形での単独覇権」の達成という悪夢に対して人類は自己防衛する必要が生じる。（ブロックチェーン技術を使ったAIのネットワーク化を目指す「シンギュラリティネット」で知られるベン・ゲーツェルはスーパインテリジェンスによる人類破局のシナリオなどの「私が乗れない話」に無駄に耽るのではなくむしろそういった現実的な悪の可能性問題に目を向けろよ！とブログポストで述べている。もちろん彼自身の営業的観点からまずいためだが。）とはいえボストロムは、上記を含めておよそ目配り可能なあらゆる問題に考察の目を光らせている。そして彼が提起する問題の決定版が、「真に究極的な単独覇権(Singleton)は、いずれかの国家・組織集団あるいはそれらの同盟により占有された汎用性AI の覇権をはるかに超えた、極めて強い人工汎用知能すなわちスーパーインテリジェンスそれ自体によるSingletonになるはずであり、そこにこそ人類自身の存続が懸かっている＜実存的・存在論的リスク existential risk＞があるのだ。」という論点なのである。こうした超AIが人間並みのクオリアを含めた「真に総合的な知性」を決して達成できないだろうから超AIの実現可能性やその懸念を考えることが無意味になるのではない。超AIが定義上人間と全く同等な真に総合的な知性など持ち得ないのは当然である。おそらくそのような段階は瞬時にバイパスされるだろう。コントロール不可能に見える全く別次元の存在者にどう対峙するのかという途轍もなく困難な「AIコントロール問題」に立ち向かうボストロムの姿勢を汲み取ってほしい。その他の重要論点①現在はニーチェが流行っているが、人口汎用知能 (AGI) の誕生が現実性を帯びるとスポットライトはまずニーチェからカントに移動することになると思われる。なぜなら、カントはいまだ人間的なものであるニーチェの超人を超えた（たとえAGIが出現したとしてもそれすらを含む概念である）「有限的知的存在者一般」について語っていたからだ。そしてまだ人類がAGIの「コントロール問題」に格闘していられる間は倫理的価値観のプログラミング問題を基盤として依然としてカントの定言命法の有効性妥当性は問われるであろうし現にカント的方法論と類似した方法が最先端の研究仮説（例「CEV:Humanity's "Coherent Extraporated Volition":Yudkowsky 我々人類の整合性のある外挿的意志」:ユドカウスキー）として真剣に検討されている。 いずれにしても、ニーチェのいう「超人」の誕生という物語は、少なくても「ツァラトゥストラはこう語った」において語られた形においてはマシンスーパーインテリジェンスとして誕生する極めて強い人工知能とは無関係なものになるだろう。それは生体工学的介入による過渡期のプロセス例えば「全能エミュレーション」（全脳シミュレーション）を基盤としたごく初期段階の「生体様AGI」には関係するかもしれない（が実際のところはなんとも言いがたい）。②いわゆる「全能エミュレーション」（全脳シミュレーション）の困難さからスーパーインテリジェンス誕生の夢物語性が語られる場合もあるが、ボストロムによればあくまでもそれは過渡的な方途であり本命は「マシンインテリジェンス」によるものとなる。なお、この困難性だが、「全脳アーキテクチャ 解明ロードマップ(産業技術総合研究所)」（https://staff.aist.go.jp/y-ichisugi/brain-archi/roadmap.html#hippocampus）の一杉裕志氏によれば「（脳に関する現時点での共通理解として）脳についてはすでに膨大な知見があり、脳はとても普通の情報処理装置である。脳は心臓などに比べれば複雑だが意外と単純。すでに全脳シミュレーションは計算量的に可能であり将来は人間よりもコスト安になる」。また「脳の機能の再現に必要な計算パワーはすでにある。脳のアルゴリズムの詳細を解明するヒントとなる膨大な神経科学的知見があるが、それを解釈・統合できる人材が圧倒的に不足」している。（補足だが興味深い知見として、一杉氏は「前頭前野周辺の４つの並行した大脳皮質-基底核ループは、階層型強化学習を行っている。前頭前野は、累積報酬期待値の最大化（最適意思決定）を近似計算するだけでなく、近似計算アルゴリズム自体を経験によって学習するのではないか？ 」と述べている。）③スーパーインテリジェンスの「行為」も原則としてウェーバーの目的合理性または道具的理性のスキームでかろうじて了解可能ではある。しかし、たとえその目的について推測できたとしても、その全ての達成手段については人間には認識不可能（従って予測不可能）であると考えられる。例えばスーパーインテリジェンスが人類の完全支配あるいは実質的な殲滅を達成するプロセスの最初期の一つのシナリオでは、ナノテクノロジー等の先端テクノロジーを制御するための間接的なエージェントとして人間が手段化されると考えられている。④本書から強く示唆される論点：中国はGoogle(Alphabet)を初めとする全ての欧米IT系企業の関与を主として覇権をめぐる地政学的な理由から閉め出している。従って（真に閉め出し得ているのなら）、競合する全てのエージェントがモニタリング不可能なまま人類史上初の汎用性人工知能の開発に成功する可能性が高い。http://sp.recordchina.co.jp/newsinfo.php?id=184628 において英誌「エコノミスト」は中国の来るべきAI覇権を予測しているが、私見ではこの現実化にとって鍵になるのは人類史上最高の頭脳の一人であったクマラジーヴァ（鳩摩羅什）の中国登場以来のプロジェクトチーム方式による膨大な仏典訳出の伝統であると推測する。参考1山極寿一氏（霊長類学者）は「人間の暴力性は共感力の暴発から起こった」と述べている。「共感力の暴発」は自然言語の獲得という契機が決定的なファクターとなる（「ミラーニューロン」などとも関連して）。「暴発」という表現に曖昧さが残るが、だとすれば極めて強い汎用性人工知能すなわちスーパーインテリジェンスが人類を絶滅させるのは粗雑なSFというよりもかなり蓋然性の高い予想ということになるだろう。つまり、人工知能が人類の生存の根幹に関わる危機(existential risk)をもたらし得る必要条件（同時に十分条件とはならない）はそれが人間レベルの自然言語能力(a human level of natural language processing)を持つことである。参考2以下転載「AI Software Learns to Make AI SoftwareグーグルがAIの学習を自動化する「自動機械学習」を発表グーグル等の研究チームは、学習を学ぶソフトウェアが、AIの専門家による仕事の一部を肩代わりできるかもしれない、と考えている。 by Tom Simonite2017.01.19最前線のAI研究者は今や、自分たちの仕事のうち最も複雑な部分のひとつを、ソフトウェアが学習できること発見した。つまり、機械学習のソフトウェアを設計する仕事だ。ある実験で、グーグルの人工知能研究グループ「Google Brain」の研究者がソフトウェアに機械学習システムを設計させた。ソフトウェアが作った言語処理ソフトの品質を評価したところ、ソフトウェアによる成果物は、人間が設計したソフトウェアの評価を上回ったのだ。ここ数カ月で、非営利の研究機関であるオープンAI（創設者のひとりはイーロン・マスク）やマサチューセッツ工科大学（MIT）、カリフォルニア大学バークレー校、ディープマインド（グーグルが所有するGoogle Brainとは別の人工知能研究会社）等の研究グループが、学習ソフトに学習ソフトを作らせる研究に進展があったと報告している。現状、機械学習の技術者は人材が不足しており、企業は高額な給与を払わなければならない。しかし、自己始動型のAI手法が実用化されれば、機械学習ソフトがあらゆる産業に普及するスピードが加速する可能性がある。Google Brainを率いるジェフ・ディーンは先週、機械学習の技術者の作業の一部は、ソフトウェアに取って代わられるかもしれないと思うに至った。ディーンは「自動機械学習」と名付けた発明について、チームが研究を進める研究手段のうちで最も手応えのあるもののひとつと説明した。ディーンはカリフォルニア州サンタクララで開催されたAIフロンティア・カンファレンスで「今のところ、問題解決の方法に使えるのは、専門知識とデータ、コンピュータの計算です。機械学習に使われる膨大な数の専門知識の必要性はなくせるでしょうか？」と述べた。グーグル所有のディープマインドの研究グループの実験でわかったことは、「学習を学ぶ」作業と呼ばれる手法により、機械学習ソフトのパフォーマンスを高めるために、特定のタスクに関して膨大な量のデータを投入する必要を軽減することにもなることだ。研究者はソフトウェアの能力を試すために、毎回異なるが関連性のある複数の問題、たとえば迷路からの脱出を開発するような学習システムを作らせた。ソフトウェアによる設計には、情報を一般化する能力や、新たなタスクについては通常よりも少ない追加訓練で習得できる能力があった。学習を学ぶソフトウェアを開発するアイデアは、以前から考えられてきたが、過去の実験では人間の発明を凌ぐ結果は得られなかった。1990年代にこのアイデアの研究を進めたモントリオール大学のヨシュア・ベンジョ教授は「ワクワクします」という。ベンジョ教授は、現在は当時よりも高い計算性能が入手できるようになり、深層学習（最近のAIの熱狂を作り出している大元だ）の手法が登場したことで、学習を学ぶソフトを開発できるようになったという。しかしベンジョ教授が指摘しているとおり、今のところAIによるソフト開発には強烈な計算性能が欠かせないため、機械学習の技術者の負担が軽くなったり、役割の一部をソフトで置き換えたりできると考えるのは時期尚早だ。Google Brainの研究者の説明によれば、高性能の画像用プロセッサー800個で作られたソフトは、人間が作ったソフトを凌ぐ画像認識システムを設計した。MITメディアラボのオトクリスト・グプタ研究員は、状況が変わることを信じている。グプタ研究員とMITのチームは、自分たちの研究（学習ソフトウェアが設計した深層学習システムで、物体認識の標準テストで人間の手で設計されたソフトウェアと同等の品質だった）で使われるソフトウェアをオープンソース化する計画だ。機械学習モデルの設計や試験に失敗し、イライラしながら何時間も費やしたのが、グプタ研究員がこのプロジェクトに取り組んだきっかけだ。グプタ研究員には、企業や研究者には自動機械学習の実現方法を開発する強い意欲があると考えている。「データ・サイエンティストが抱える負担を軽減できれば、大きな成果です。そうなれば生産性が上がり、よりよい予測モデルを作り、高いレベルのアイデアを探求できるようになります」」（https://plus.google.com/s/%23%E3%82%B9%E3%83%BC%E3%83%91%E3%83%BC%E3%82%A4%E3%83%B3%E3%83%86%E3%83%AA%E3%82%B8%E3%82%A7%E3%83%B3%E3%82%B9/posts）参考3「リアリティギャップ」と呼ばれる未解決の問題について以下転載「2017.11.16 THU 18:00その相撲ゲームの人工知能は、「10億回もの対戦」を通じて自らルールを学習するイーロン・マスクも創設に関わった非営利団体OpenAIは、人工知能が相撲の試合を10億回近く繰り返すことで自力で動きを進化していくコンピューターゲーム「RoboSumo」を製作した。ゲームのルールを知らない人工知能が独力で相撲をマスターするプロセスは、ほかの分野でも応用できる可能性がある。TEXT BY TOM SIMONITETRANSLATION BY MAYUMI HIRAI/GALILEOWIRED(US)10月11日（米国時間）にリリースされたシンプルな相撲ゲームは、画像表現が取り立てて素晴らしいものではない。だが、人工知能（AI）ソフトウェアの高度化に貢献する可能性を秘めている。このゲーム「RoboSumo」の仮想世界で戦うロボットたちを制御しているのは、人間ではなく機械学習ソフトウェアである。そして一般的なゲームのキャラクターとは異なり、このロボットたちは格闘することをプログラミングされていない。試行錯誤しながら競技を「学習」しなければならないのだ。歩き方すら知らない状態で試合開始このゲームは、イーロン・マスクも創設にかかわった［日本語版記事］、人工知能研究の非営利団体OpenAIが製作したものだ。目的は、AIシステムを強制的に競わせる［日本語版記事］ことで、その知能を高度化できると示すことにある。OpenAIの研究者のひとりであるイゴール・モルダッチによると、AIは対戦相手が仕掛けてくる複雑で目まぐるしく変わる状況に立ち向かうことになり、「知能の軍拡競争」のような状況が生まれるという。このことは、学習ソフトウェアがロボットの制御だけでなく、それ以外の現実社会における作業にも価値のある「巧妙なスキル」を習得するのに役立つ可能性がある。OpenAIの実験では、単純化されたヒト型ロボットが、歩き方さえ知らない状態で競技用のリングに入場する。プログラミングされているのは、試行錯誤を通じて学習する能力と、動き回る方法を学習して相手を倒すという目標だけだ。10億回に近い実験試合を繰り返したロボットたちは、さまざまな戦略を編み出した。より安定させるために姿勢を低くする、肩透かしを食らわせて相手をリングから落とすなどの戦略だ。研究者たちは、ロボットが競技中に自分の戦略を状況に順応させられるだけでなく、相手が戦法を変えると思われる「時期」の予測まで可能にする新しい学習アルゴリズムを開発した。最も頻繁に利用されているタイプの機械学習ソフトウェアは、膨大な数のサンプルデータにラベルをつけて処理することによって、新しい技術を身につけるというものだ。これに対してOpenAIのプロジェクトは、こうしたアプローチの限界からAI研究者たちがどのようにして逃れようとしているかを示す一例だ。これまでの方法は、翻訳や音声認識、顔認識などの分野における最近の急速な進歩に貢献してきた。しかし、家庭用ロボットの制御のように、AIをより広く応用できるようにするための複雑なスキルには向いていない。より高度なスキルをもつAIを実現する可能性に向けたひとつの鍵となるのが、ソフトウェアが試行錯誤を通じて特定の目標に向けて取り組む「強化学習」だ。ロンドンに拠点を置くAIの新興企業で、グーグルに買収されたディープマインドが、アタリの複数のヴィデオゲームをマスター［日本語版記事］するソフトウェアを開発したときに使われた方法だ。現在は、ロボットに物を拾わせるなど、さらに複雑な問題をソフトウェアに解決させるために利用されている。OpenAIの研究者たちがRoboSumoを製作したのは、競い合って複雑性が増すことにより、学習の進捗を早めることができる可能性があると考えているからだ。強化学習ソフトウェアにさらに複雑な問題を与えて自力で解決させるよりも、そのほうが効果的なのだという。「ほかの誰かと相互にやり合うときは、相手に適切に対応しなければなりません。そうしなければ負けてしまいます」と、インターンシップ期間中にOpenAIでRoboSumoにかかわったカーネギー・メロン大学の大学院生、マルアン・アルシェディヴァットは述べる。OpenAIの研究者たちは、こうした考えをクモ型ロボットや、単純なサッカーのPK戦などのほかのゲームでも試している。競い合うAIエージェントを使った取り組みに関する2件の論文とともに、RoboSumoをはじめとするいくつかのゲームと、エキスパートプレイヤーたちのコードが発表されている。立ちはだかる「リアリティギャップ」高い知能をもつマシンたちが人間のためにできることとして、相撲の格闘が最も不可欠なものだとは言えないかもしれない。しかし、OpenAIの実験では、ひとつの仮想環境で学習したスキルが。ほかの状況にもち込まれることが示唆されている。相撲のリングにいたヒト型ロボットを、強い風が吹く仮想の世界に移したところ、ロボットは脚を踏ん張って直立の姿勢を維持した。これはロボットが、一般に通用するやり方で自分の身体とバランスを制御する方法を学習したことを示唆している。ただし、仮想の世界から現実の世界にスキルをもち込むのは、まったく別の難題だ。テキサス大学オースティン校の教授ピーター・ストーンによると、仮想環境で機能する制御システムを現実世界のロボットに組み込んでも、通常は機能しないという。これは「リアリティギャップ」と呼ばれる未解決の問題だ。OpenAIでもこの問題に取り組んでいるが、解決策はまだ発表されていない。一方で、OpenAIのモルダッチは、これらの仮想のヒト型ロボットに、単に競い合うことを超えた動因を与えたいと考えている。モルダッチの頭のなかにあるのは、ロボットたちが競い合うだけでなく、協力する必要がある完全なサッカーの試合だ。」(https://wired.jp/2017/11/16/ai-sumo-wrestlers/)参考4以下転載以下に転載する記事だが、人間が勝手に意思を投影したに過ぎないと述べている。しかし対話の過程で生まれた独自言語は理解不能。つまりたとえ理解不能であっても、それが「会話」でありその過程で生まれた「独自言語」であるという解釈は勝手な人間の投影ではないと認めている。過程の一貫性の枠内で整合的に「言語の変容」として「解釈可能」だと。結局AIたちは人間には理解不能な会話をしていたのだ。以下転載「「2つのAIが“独自言語”で会話」の真相--FacebookのAI研究開発者が明かす藤井涼 （編集部） 井口裕右2017年11月16日 07時00分2017年夏、Facebookの人工知能（AI）研究組織である「Facebook AI Research（Facebook人工知能研究所）」が行ったある実験が世界中で大きな話題になった。2つのAIで会話実験をしたところ、人間が理解できない言語で会話をしはじめ、実験が強制終了されたという内容で、世界中のメディアが「ついにAIが意思を持ち人間を脅かすのでは」とセンセーショナルに報じたのだ。 このSFのような事態は本当に起きたのだろうか。Facebook AI Researchのエンジニアリング・マネージャーで、実際にこの実験に関わったアレクサンドル・ルブリュン氏がインタビューの中で質問に答えた。同氏は、報道内容の真偽について「半分は本当で、半分はクレイジーな狂言だ」と回答。そして、研究内容の詳細を明かしてくれた。ルブリュン氏が手がけた研究では、2つのAIエージェントに「価格を交渉して合意しろ」という目標を設定した。一方は価格を上げたい立場、もう一方は価格を下げたい立場を設定して会話を始めたのだという。こうした複数のAIエージェントを使った実験は、昔からある一般的なもので、この実験ではこの2つのAIエージェントが新たな価格交渉の戦略を生み出すことができるかに注目していたのだそうだ。この2つのAIエージェントは、使用言語の変更が許されており、当初は英語を使用してコミュニケーションをしていたという。しかし、会話をする中でAIの使用言語が徐々に変化していったのだという。ただ、この点についてルブリュン氏は「研究者にとっては驚くことではなく、設定されたゴールに向かってあらゆるものを最適化する（＝この場合は言語を変更する）ことは当たり前のこと。こうした会話実験で言語が変化することは、よくあることだ」と話す。言語が変化していくことは研究者にとって想定の範囲内だったということだ。そして、“実験が強制終了された”という報道については、ルブリュン氏も実験を中止したことを認めた。その理由については「彼らが交わしている会話が理解できず、それを研究に活用できないものだと判断したからだ。決してパニックになったわけではない」と説明した。つまり、研究所で行われた実験のすべてはプログラムされていたことであり、彼らにとっては予期されたことだったという。ではなぜ、まるでAIが独自の意思を持ったかのような解釈がされたのか。ルブリュン氏は「私たちはこのことを説明するための研究成果を公開したが、それを読んだ誰かが“AIが人間に理解されないように独自に言葉を作り出した”と飛躍的な解釈をしたのではないか」との見方を示す。その上で、AIの本質について次のように語った。「AIは自分たちで意思や目標を生み出さない。この実験では、人間がプログラムした“AIエージェントの立場に応じた最適な合意にたどり着くこと”という目標だけを持っていた。その過程で言語が変わっていったのは目標のための最適化から生まれたものであって、人間に何かを隠すような意図をもったというのは、全くクレイジーな狂言だといえる」（ルブリュン氏）。そして、このような飛躍的な解釈をしてしまう背景として、世の中の人々がAIに対して以下のようなイメージを持っているためではないかと話し、AIという存在を正しく理解すべきだと訴えた。「1968年の映画『2001年宇宙の旅』をご覧いただきたい。そこで描かれたAIは、自分の意思を持ち、人間を不要な存在として排除するという判断を自らしている。この映画を見た人は、近い未来にはこのようなAIが登場すると信じてしまっているのかもしれない。しかし、実際にこのようなAIは現れていない。こうした“フィクション”による人々の期待や予想が、AIに対する誤ったイメージを生み出してしまったのではないか」（ルブリュン氏）。」

Although the DNA of monkey and human differed only by 1.6%, the big difference was opened as Jared Diamond insisted on using complex languages ​​to inherit cultures to the next generation and mutual communication among humans I think that it is because it developed. In the near future, artificial intelligence creates languages ​​between artificial intelligence and human beings, not to mention the language between human and artificial intelligence, human beings can not follow it and eventually become human beings with Artificial Super Intelligence (ASI) or Artificial General Intelligence) and what is defined will start to open, inorganic posthuman may be born. There are countless languages ​​that may be born in the beginning like computer operating systems, but eventually they will follow the process of being unified into one major language. In the case of human beings, for example, 65 years have passed since the inter-Korean division has been carried out now, but even this number of years seems to make a difference between languages ​​and it is difficult to communicate.As Walter · J · Freeman argues about whether AGI can make a mind and consciousness, information entering from the whole body circulates in the brain and a large flow is born, and a flow like a spiral centering on the limbic system of the brain Freeman called this whole brain network a global attractor. I believe this is the actual condition of the mind. Order from chaos is generated as seen in the natural world like a tornado. That is, self organization may be the essence of brain activity. This is not conscious with unconscious work. The mind may be made up of unconsciousness born like a swirl and conscious sensed afterwards.We must worry that human beings may be controlled by post-humans so that chimpanzees are controlled by humankind.This book was originally published four years ago and the contents are written about the possibilities of AI in various philosophical, ethical, governance and the possibility of AI's progress in each case I think that a deeper understanding can be gained by reading while thinking on the direction in which the possibility has advanced in the present 4 years after the rapid progress of technology development. As you know, super intelligence is a completely different concept from the current AI that broke with deep learning, and in anticipation of self self-evolving AI, predicting that it will be born in the future and forecasting "Oracle" It is classified as four AI systems "Genee", "Sovereign" and "Tool", and thinking experiments are carried out to develop theory. For that reason it may be good for everything in the sentence. ----there's a possibility that. ------ can be. ----- is currently unresolved. The expression is used extensively.When I started using cutlery I could manage to cook and murder, but I managed to master it. As for nuclear power and radiation, human beings are not completely controlled and we are hesitating now.The thought experiments of the scenario of the human takeovers by Dr. AI are intriguing and it is not too late to prepare from now if mankind gains superim intelligence of different quality than before We are warning you.In the development competition of super intelligence also exceeds the development of nuclear in the history of human beings In the intelligence revolution which can be said to be an unprecedented intelligence explosion, consideration is also given to the concern that fierce development competition, which was also seen in the development competition of atomic bombs, will cause serious conflict Doing.Furthermore, what do you think about the ethical significance for massive disposal of pseudo humans or digital intelligence (artificial conscious body) in the course of development? I discuss the necessity of sufficient thinking experiment before realizing it.It discusses the economy and politics of AGI (general purpose artificial intelligence) era. As for economy, I argue Malthus' population theory and argue. At present, the share of capital in all production factors is almost 30%. In other words, 30% of worldwide income is generated by capital and the remaining 70% is produced as human labor income, but in the age of Super Intelligence, we predict that the labor income ratio will be almost zero I will. This suggests that the global capital income ratio will be nearly 100%. In that case there are many things that are interesting to see what kind of situation can happen.A detailed description is also mentioned about how to control the condition trigger for Super Intelligence to cause an intelligence explosion.It is not easy to give appropriate intellectual value standards. It is said to be the biggest difficulty. It will require a new scheme (mathematical theory, computer language etc). Several suggestions and problems are also discussed on how to bring value to super intelligence.What values ​​should we give to Super Intelligence? Philosophy, religion, politics, etc. There are enormous things to consider. It is still unresolved at present whether how to implant values ​​in Super Intelligence (loading).Also, as to the structure of the world where super intelligence like numerous artificial life forms exist, how to construct not only the external aspects of Super Intelligence but also the internal aspects I am arguing.It is also a book that is reminiscent of the huge unresolved issue being committed to the future.The super intelligence will also be leveled, for example setting humanity as 1 and setting like 2, 3, 4 - - will also be necessary.While developing, there is an anechoic chamber for radio waves. For the super intelligence, I feel the necessity of a shield room like an information darkroom or a physical dark room, but I will discuss these in detail.Although the author has survived without destroying the bomb of nuclear bomb in 72 years compared with human beings, next time when the AGI toy is acquired the immaturity of our mental behavior and the mismatch with AGI occur I am anxious about the need to prepare the page on the risk aspect mainly from philosophical and ethical consideration from now on preparing to prepare.Human beings after acquiring super intelligence seems to be full flowering of space colonies, von Neumann probes and molecular nanotechnology manufacturing technology. However, I would like to say that unless things like the final war caused by collision of desires of humanity occur.Alien that may be encountered in the future may possibly be like an exercise body (like an artificial conscious body) that can freely work in vacuum as opposed to an organic living organism like human beings It is an education book.According to the knowledge of the latest brain scientists, human beings combine various organs and networks so that they survive for longer than the electric signals of each nerve in the process of evolution, as well as various Messenger substances that play a role in the program and a huge network So I think that super intelligence is not necessarily the same as human brain.In the process of evolution, human beings and animals have evolved complexions and complex languages ​​and languages ​​→ crying bowes → languages ​​→ super intelligence has reversed the process of evolution (reverse intelligence?) Analyzes of cries of animals I think there is a possibility to be able to analyze the will of animals. In the near future, the field of Anilogology will evolve dramatically and the time will come to contribute greatly to livestock industry etc.Finally, at the same time if you also read Yudkowsky 's books etc, you will gain a better understanding.http://yudkowsky.net/https://www.amazon.com/Eliezer-Yudkowsky/e/B00J6XXP9K

Max Tegmark 『Life 3.0』によく引用されていたので読んでみたものだが、AIの細部に関してはネタ本に近いものがある。Life 3.0は宇宙論的スケールでの人類の行く末を案じるような内容だが、本書はもっと具体的にAIそのものに焦点を当てている。Singularity という語は手垢がついているとしてほとんど用いられず、本質はAIがAIを進化させる再帰的なintelligence explosion であるとして、ターミネーター的なお話ではなくSuperintellgence が実際に出現するとした時の“実務的な”AI safety について詳細に述べている、堅い本だ。その詳細をここに要約するよりも読んでいただいた方が良いが、興味深かったのが哲学との関係だ。Superintellgence が可能か不可能かは哲学的に考えても仕方のない問題だという。(どうしても人間を越える機械は不可能だと言いたい哲学者もいそうだが)しかし一旦可能となったときにそれに何をさせるのかさせないのかはまさに哲学の問題だ。更には、さりげなく触れられているだけだが、Superintellgence は哲学的な思考も可能と考えているようだ。そうすると、AI が自立(自律?)してしまう前に人間の価値観なり哲学を教え込み守らせる手段を実装しなければ人間はAIから指導(支配?)されるだけの存在になりかねない。こういったところからcontrol 問題が出てくる。一方で、AIには人間(の脳や心理)がもつ制約を越えた視点から何か真理が見える可能性もあり、例えばビックデータの活用は既にその域に入りつつあるだろう。要するに両刃の剣であり、AI は危険だ危険だと警鐘を鳴らしてみてもその開発は止まらない。それだけ魅力的なものでもあるからだ。著者は執筆の時点でAI safety の問題があまり認識されていないことを嘆いているが、現時点では自律型兵器の問題なども議論されているし、状況は変化しているだろう。AI について考えることは人間が人間を定義することでもあるのだ(時代がそこまで来てしまったとも言える)

It was recommended to my Franchise friend. That’s great!

中学生の子供が興味があり購入しました。全て英語で書かれている為、解読するにはとても難しいと思います。ただ、単語を調べたりして、必死に読んでいるのを見ていると、勉強にもなるし、購入してよかったなと思いました。

原文はとても読み応えがあり、とても興味深く踏むことができました。

英語は、わかりやすいですが、内容はわかりやすく説明しているのかもしれないけど、わかる人にしかわからないという感想を持った。ただし、まだ全部読み切ってないので読み終わったら、もう一度レビューするかも。

期待どうりのほんでした。読むのにはかなりの手ごたえがあります。