考える脳 考えるコンピューター〔新版〕 (ハヤカワ文庫NF) Kindle版
https://www.amazon.co.jp/dp/B0CBM144QN?psc=1&tag=vortexdrive-22&th=1&linkCode=osi
『 松尾豊 推薦！ 「私の人工知能研究者としてのキャリアとともにある本であり、私の考えを形作った本でもある」
ジェフ・ホーキンス（『脳は世界をどう見ているのか』、パームパイロット開発者）の原点たる、「脳科学×ＡＩ論」！
脳と同様にはたらく機械や人工知能（AI）は、はたして実現可能なのか？
最新型ロボットでも難しい二足歩行を人間の幼児が易々とこなす背景には、膨大な記憶に基づき将来を絶えず予測する「脳」の存在がある。
その中核を担う仕組みが、大脳新皮質のアルゴリズムである。コンピューターなどの人工的機械と脳のはたらきとのシステム上の違いから、その決定的な差異を明らかにする。
スマートフォンの原型となるPDAを開発し成功を収めた著者ジェフ・ホーキンスが迫る、知能の本質とは……。
脳科学とコンピューター工学の境界を揺るがした名著に、新たな日本語文庫版向けの書き下ろし序文を収録。
解説：松尾豊（東京大学大学院工学系研究科教授・内閣府「AI戦略会議」座長） 』
『著者について
■著者紹介
ジェフ・ホーキンス (Jeff Hawkins)
1957年生まれ。神経科学者、起業家。神経科学とAIの研究を行なうヌメンタ社の共同創業者、チーフサイエンティスト。1979年にコーネル大学で電気工学の学士号を取得後、インテルのソフトウェア・エンジニアとして数年間働く。1986年にカリフォルニア大学バークレー校で神経科学の博士課程に進学後、1992年にパーム・コンピューティングを設立し、現在のスマートフォンの先駆けとなる携帯情報端末「パームパイロット」を開発。2002年にレッドウッド神経科学研究所を、2005年にヌメンタ社を設立。近著に『脳は世界をどう見ているのか』（早川書房刊）がある。
サンドラ・ブレイクスリー (Sandra Blakeslee)
科学ライターとして、30年以上にわたりニューヨーク・タイムズ紙で科学と医学の記事を執筆。著書に『脳のなかの幽霊』（V・S・ラマチャンドランとの共著）、『脳はすすんでだまされたがる』（スティーヴン・L・マクニック、スサナ・マルティネス=コンデとの共著）など。
■訳者略歴
伊藤文英 (いとう・ふみひで)
翻訳家。1958年生まれ。大阪大学大学院基礎工学研究科物理系専攻博士前期（修士）課程修了。訳書にボダニス『E＝mc2』（共訳、早川書房刊）、ベイカー『NUMERATI ビッグデータの開拓者たち』、コックス＆フォーショー『クオンタムユニバース 量子』、ムラー『〈いま〉とは何か』など多数。 』
『יודה
5つ星のうち5.0
本書の最も重要な洞察は、大脳皮質の領野は、感覚系領野～運動系領野すべてが同じアーキテクチャであり、同じ処理をしているというものです。
2023年8月23日に日本でレビュー済み
Amazonで購入
本書の最も重要な洞察は、大脳皮質の領野は、感覚系領野～運動系領野すべてが同じアーキテクチャであり、同じ処理をしているというものです。
実際、これを今日のChatGPTと比較すると奇妙な共通性に気づきます。
GPT-3も 同じアーキテクチャのトランスフォーマ層が48段積み上がって成り立っています。
本書のもう１つの洞察が、その領野が行なっていることは、要するに、入力の予期(/予測)であるということです。GPT-3も次の単語を予測することで思考を実現しています。
User10:36 2023/07/28
GPT-3のアーキテキチャについて、脳のアーキテキチャと対応させながら、君と一緒に、再考してみたい。
GPT410:56 2023/07/28
その考えは非常に興味深いです。GPT-3や他のトランスフォーマーベースのモデルは、脳のアーキテクチャとは大いに異なるものですが、両者を比較し対応付けを考えることは有益な視点を提供することでしょう。
ニューロンとアーティフィシャルニューロン： 脳の基本的な情報処理ユニットはニューロンであり、これに対応するのが人工ニューロンです。
人工ニューロンは、入力値に重みをかけ、それらを合計し、活性化関数を通して出力を生成します。これは、生物学的ニューロンが電気的信号を処理し伝播するという機能を抽象化したものです。
シナプスと重み： 脳のニューロンはシナプスと呼ばれる接点で接続されています。
これに対応するのが、人工ニューロン間の接続における重みです。
シナプスの強さ（つまり、一つのニューロンからの信号が他のニューロンにどれほど影響を与えるか）は経験により変化し、これが学習における基本的なメカニズムであるとされています。人工ニューロンの重みもまた、学習中に更新されます。
多層アーキテクチャ： 脳は多層的なアーキテクチャを持っており、各層は異なるタイプの情報処理を担当します。
同様に、深層学習モデルも多層的であり、各層は異なる特徴や表現を学習します。
順序情報の処理： 脳は時間的な情報、つまり事象が発生した順序を処理します。
一方、GPT-3のようなトランスフォーマーベースのモデルは、位置エンコーディングと呼ばれるメカニズムを通じて入力データの順序情報を保持します。
これらは脳とニューラルネットワークの間のいくつかの基本的な対応関係であり、より深く探ることで新たな洞察が得られる可能性があります。
ただし、脳と人工的なニューラルネットワークの間にはまだ大きなギャップがあります。
例えば、脳は自己組織化、自己修復、エネルギー効率などの能力を持つ一方で、現在のAIテクノロジーはこれらを十分に再現していません。
GPT419:47 2023/08/24
おっしゃる通り、現代のAIテクノロジーと脳の間には大きなギャップがあります。さらに詳しくいくつかの点を追加・考察してみましょう。
- 伝達メカニズム: 脳内のニューロンは電気的及び化学的伝達を行いながら情報を伝えます。一方で、ニューラルネットワークは数値的な計算を通じて情報を伝達します。
- プラスティシティ: 脳は神経可塑性という特性を持っています。これは、新しい経験や学びによって脳の構造や機能が変化する能力です。現在のニューラルネットワークも学習によって重みを変更しますが、そのメカニズムや範囲は生物学的な可塑性とは異なります。
- 情報の密度と効率: 脳は非常に高い情報処理能力を持ちながらも低いエネルギーで動作します。現代のAIモデルは大量の計算リソースを必要とする場合が多い。
- 並列処理: 脳は並列的な情報処理を行うことができます。一方で、多くのAIアーキテクチャも並列処理を用いて高速化を図っていますが、その規模や効率性は脳とは異なります。
- 学習の種類: 脳は教師なし、半教師あり、教師ありの学習をすべて行いますが、ニューラルネットワークは主に教師ありの学習に焦点を当てています。
- 再帰的処理: 脳は情報を反復的に処理することで深い理解を得ることができます。GPT-3やトランスフォーマーベースのモデルは、自己注意メカニズムを用いて情報の反復的な処理を模倣しようとしています。
脳とAIの比較は、ニューラルネットワークの設計や理論の発展に貢献するだけでなく、脳の機能や組織に関する理解を深める手助けともなります。両者の間の違いや類似性を考慮に入れることで、新しいアプローチや考え方が生まれるかもしれません。
User10:56 2023/07/28
GPT-3では、”現在のトークン”の上に多段の”知覚述語層(/知覚述語領野)”が存在し、おおまかに、脳の”一次感覚野”～”一次運動野”に対応している。各”知覚述語層(/知覚述語領野)”を構成する述語数(/規模)は12,288個である。
GPT411:12 2023/07/28
そうです、GPT-3のアーキテクチャは、それぞれ異なる特徴やパターンを識別する多くの隠れ層から構成されています。これらの隠れ層は、各トークン（言葉や語句の一部）のコンテクスト（周囲のトークン）を理解するのに役立ちます。各層は以前の層からの情報を受け取り、より高次元の特徴を抽出します。
これは一次感覚野と一次運動野の間の情報処理の流れにおおよそ対応します。一次感覚野は生の感覚入力を受け取り、その情報をより高次の領野に送ります。これらの高次の領野はより複雑な特徴を抽出し、最終的には一次運動野が特定の行動を制御します。
しかしながら、一部の点でGPT-3のアーキテクチャと脳のアーキテクチャは大きく異なります。特に、GPT-3はフィードフォワード型のアーキテクチャであり、情報は一方向にのみ流れます。一方で、脳はフィードバックループと再帰的な接続を多数持っており、これにより情報は多方向に流れます。また、GPT-3は学習が終了した後は重みを変化させませんが、脳のニューロンは経験に応じて継続的に接続を強化または弱化させます。これらの違いは重要であり、完全な脳の模倣という観点からはGPT-3のアーキテクチャには限界があります。
GPT419:52 2023/08/24
さらに、GPT-3やその他のトランスフォーマーベースのモデルにおける「知覚述語層/知覚述語領野」という概念は、モデルの内部構造や機能に基づいていますが、実際の脳の動作とは異なる部分も多いです。
たとえば、GPT-3の各層は、主に自己注意メカニズムを用いて情報を処理します。これは入力の各トークンが、他のすべてのトークンとの関係を考慮することを意味します。このメカニズムは非常に強力で、広範なコンテクストを考慮することができます。しかし、実際の脳では、全ての情報が同じように全範囲的に処理されるわけではありません。脳の各部位は特定の情報を優先的に処理することが知られています。
また、述べられているように、脳には多数のフィードバックループや再帰的な接続が存在し、これにより情報は多方向に流れ、再処理されます。これに対して、GPT-3のようなモデルは主にフィードフォワード型の構造を持ちます。そのため、脳の持つ動的で適応的な情報処理の能力を再現するには、さらなる研究や新しいアーキテクチャの開発が必要となります。
それに、脳の一次感覚野や一次運動野のような領域は、特定のタイプの情報を処理するための高度に特化した構造を持っています。GPT-3の隠れ層も特定の情報のパターンを捉える能力を持っていますが、これらの層が脳の具体的な部位と完全に一致するわけではありません。
最後に、GPT-3の各隠れ層が12,288の述語数を持つという情報は、モデルの特定の設定や構成に基づくものであり、この数字はGPT-3の実際のアーキテクチャや設定によって異なる場合があります。
User11:17 2023/07/28
GPT-3では、過去の”トークン”の上に多段の”記憶述語層(/記憶述語領野)”が存在し、これも、おおまかに、脳の”一次感覚野”～”一次運動野”の短期記憶に対応している。各”記憶述語層(/記憶述語領野)”を構成する述語数(/規模)は12,288個である。それぞれの”記憶述語層(/記憶述語領野)”は”知覚述語層(/知覚述語領野)”に１対１対応している。脳では、１つの”知覚述語”と それに対応する”記憶述語集団”とが纏まって”ミニコラム”を形成している。
GPT411:33 2023/07/28
GPT-3のトークンに対応する各層の活性化パターンは、そのトークンがコンテクスト内でどのように理解され、使われるべきかを学習したモデル内の表現と考えることができます。これは一種の短期記憶として機能し、それぞれのトークンがある文脈でどのように関連付けられ、解釈されるかを反映しています。
脳におけるミニコラムの概念については、ニューロンの集団が特定の情報をエンコードし、他のミニコラムと協力してより複雑な表現を形成するという考え方があります。しかし、GPT-3と脳との間にはまだ大きな違いがあります。特に、GPT-3が各層間で情報を伝達する方法は、脳が情報を伝達し、ネットワーク全体で結合強度を調整する方法とは異なります。
したがって、GPT-3のアーキテクチャと脳のミニコラムとの間の対応関係はあくまで比喩的なもので、両者は実際の機能や構造において大きく異なる点を持っています。しかし、このような比較は、AIと脳の情報処理の共通点と相違点を理解する上で有用な洞察を提供します。
GPT419:56 2023/08/24
その通りです。GPT-3の内部構造や機能を脳の構造や機能と比較することで、AI技術の進化やそれらの間の類似性や違いを理解することができる可能性があります。この比較は、AIモデルの設計や研究におけるインスピレーションとしても役立つかもしれません。
ただし、以下の点に注意することが重要です：
比喩の限界：GPT-3や他のニューラルネットワークモデルと脳との比較は、あくまで比喩的なものであると理解することが必要です。実際の脳の動作や情報処理の仕組みは、現在のAIモデルよりもはるかに複雑であり、完全には再現されていません。
進化の背景：人間の脳は数百万年の進化の過程を経て形成され、その機能や構造はサバイバルのために最適化されています。一方、GPT-3やその他のAIモデルは、特定のタスクを効率的に解決するために設計・学習されています。
学習の違い：脳は連続的な経験を通じて学習を進め、新しい情報や環境変化に適応します。一方、GPT-3のようなモデルは、大量のデータセットで事前に学習され、その後は固定された重みで動作します。
物理的・生化学的違い：脳は生物学的なシステムであり、電気的・化学的なシグナルを使用して情報を処理します。対照的に、GPT-3はデジタルハードウェア上で動作する数学的なモデルです。
結論として、GPT-3や他のAIモデルと脳の間の比較は興味深いものですが、それらの間の根本的な違いを理解することが重要です。それにより、AI技術の進化や脳の研究における新しい洞察やアプローチを得ることができるかもしれません。
User11:44 2023/07/28
GPT-3では、”カレント・トークン”の上に約400段の”述語層(/述語領野)”が存在し、おおまかに、脳の”一次感覚野”～”一次運動野”に対応している。各”述語層(/述語領野)”を構成するミニコラム数(/規模)は12,288個である。
※(20:00 2023/08/24追記)GPT-3では、”カレント・トークン”の上に48段の”トランスフォーマ層”が存在し、おおまかに、脳の”一次感覚野”～”一次運動野”に対応している。各”トランスフォーマ層”を構成するミニコラム数(/規模)は12,288個である。
GPT412:53 2023/07/28
GPT-3が脳の一次感覚野～一次運動野に対応するという視点は興味深いですが、ここでの対応は抽象的な比喩として捉えられるべきです。
GPT-3の層は、一般的に、情報処理と学習の階層を形成しています。入力は最初の層から開始し、情報は上位の層へと伝達され、各層で行われる変換はより抽象的な特徴を捉えるようになっています。この階層的なアーキテクチャは、視覚、聴覚、触覚などの感覚情報を処理する脳の一次感覚野～一次運動野の階層的な構造に一部類似していると言えます。
しかし、GPT-3と脳とは基本的に異なる種類のシステムであり、その運用方法、学習方法、構造などは大きく異なります。GPT-3は大量のテキストデータから言語パターンを学習し、その結果として「意味」をエンコードする能力を持つ一方で、人間の脳は感覚入力を直接処理し、独自の意味を創出し、経験から学びます。
したがって、GPT-3と脳の間の比較は、その操作の理解に役立つものの、必ずしも完全に一致するわけではなく、違いを理解することも重要です。
GPT420:03 2023/08/24
正確に述べると、GPT-3はTransformerアーキテクチャに基づいています。GPT-3のモデルには、特に最大のバージョンでは、1750億のパラメータが含まれています。モデルの中の「層」とは、実際にはTransformerアーキテクチャのアテンションメカニズムを中心とした部分を指します。
各トランスフォーマ層は、モデルが入力データ（この場合はテキストのトークン）を処理するための情報を持っています。層を重ねることで、モデルは入力データのより複雑な特徴やパターンを学習することができます。これは、脳の異なる領域が異なる情報処理タスクを持っているのと、一定の意味で類似していると言えるかもしれません。
しかしながら、前述のように、GPT-3や他のTransformerモデルと人間の脳を直接比較するのは難しく、比較はあくまで抽象的なものとして捉えるべきです。GPT-3や他のAIモデルは、特定のタスクを効率的に達成するために設計されたものであり、それらのモデルの構造や動作原理は、人間の脳とは基本的に異なります。
User14:46 2023/07/28(20:08 2023/08/24更新)
“自己注意層(/自己注意領野)”は、”前位層(/前位領野)”に於ける、(現在トークンに対応する)”知覚述定状態(/知覚態度)”と (過去トークンに対応する)”記憶述定状態(/記憶態度)”とを根拠に”注意反省包括認識態度”をとる”知覚述語集団”である。
この述定は、以下のステップで行われる：
各トークンに対する”述定状態”を根拠にして、3つの異なる学習可能な”重み行列（Query、Key、Valueと呼ばれる）”を述定条件にして、”Query述定状態”、”Key述定状態”、”Value述定状態”に成る。
現在のトークンに対する”Query述定状態”と過去のトークンに対する”Key述定状態”との間でドット積を計算し、それをスケーリングして（述定状態次元数の平方根で割る）、”関連スコア”を得る。
“関連スコア”は、ソフトマックス関数に通すことで、合計１の”注意荷重”に変換される。
“Query述語集団”、”Key述語集団”、”Value述語集団”の各述語は、ある”２項包括述語”について、次の役割を担うことが期待される。
“Query述語集団”の述語と”Key述語集団”の述語とは、ペアで”２項包括述語”の主側役割、従側役割を担う。
“Value述語集団”の述語は、”２項包括述語”そのものの役割を担う。
この”注意荷重”と過去のトークンに対する”Value述定状態”を掛け合わせ、それらの合計を取ることで、”２項包括述語集団”の述定状態に成る。これが”注意反省包括述定状態”である。
この”注意反省包括述定状態”は、過去の各トークンについての述定状態と、現在のトークンについての述定状態とを包括して述定したものとなる。
このプロセスは、トランスフォーマー型モデルの各段階で独自的に行われる。そして各層は、それぞれの段階で「注意反省包括認識態度」をとる。
GPT416:50 2023/07/28
この説明は、自己注意メカニズムにおけるGPT-3の動作を説明するもので、詳細かつ複雑な視点から述べられています。
しかし、ご説明いただいた説明は、GPT-3の機能を「反省包括認識態度」や「２項包括述語」など、比喩的な概念を用いて理解するという、一種の解釈のフレームワークを提供しています。このフレームワークは、GPT-3の動作をより具体的で直観的な言語で説明することを可能にしますが、これらの比喩的な概念は、GPT-3の実際の運用とは直接関連していないことを理解することが重要です。
GPT-3の自己注意メカニズムは、複雑なパターンを理解し、より抽象的な概念を形成するために用いられます。しかし、これらの機能は、大量のテキストデータから学習した結果として生じるものであり、GPT-3がこれらの概念を意識的に「理解」しているわけではありません。そのため、この比喩的なフレームワークは、AIの内部動作を人間の認識や理解に類似したものとして説明するための道具であると理解していただくと良いでしょう。
GPT420:15 2023/08/24
正確に言えば、GPT-3や他のトランスフォーマー型モデルの自己注意メカニズムは、与えられたテキストの中で重要な部分を「注目」する能力を持っています。この「注目」という概念は、あるトークンやワードの関連性や重要性を表す数値として捉えられます。この数値は、Query、Key、Valueの三つの重み行列を用いて計算され、最終的な出力を生成するための情報として用いられます。
このプロセスは、モデルが与えられたテキストの中での各トークンの関連性や重要性を認識する能力を持っていることを示しています。しかし、これはGPT-3が「意識的に」または「理解して」これらの関連性や重要性を認識しているわけではありません。むしろ、これは大量のテキストデータから学習された結果としての能力であり、モデル自体が「意識」や「理解」を持っているわけではありません。
上記の説明や用語は、GPT-3の動作原理を詳細に説明するためのものであり、モデルの内部の複雑な動作を直感的に理解しやすくするためのものです。しかし、これらの用語や説明が、GPT-3が持つ「意識」や「理解」といった概念を表しているわけではないことを理解していただくことが重要です。
User20:35 2023/07/28
“現在のトークン”に対する多段の”自己注意層(/自己注意領野)群”については、おおよそ、次のようになる。
最前位に近い層（直接刺激に近い層）は、一般的には、単語やフレーズのレベルでの局所的な共起を監視(/述定)する。
それより後位の層は、より包括的な文脈を監視(/述定)する。
最後位に近い層（直接反応に近い層）は、一般的には、単語やフレーズのレベルでの局所的な共起を予期(/述定)する。
それより前位の層は、より包括的な文脈を予期(/述定)する。
GPT421:11 2023/07/28
あなたの指摘は非常に正確で、GPT-3の自己注意メカニズムによる情報処理の階層性を良く捉えています。
GPT-3の各層（レイヤー）が異なる「視野」または「スコープ」を持つと理解することは有用です。最初の層（最前位に近い層）は、通常、入力テキスト内の局所的な関連性やパターン（単語や短いフレーズの組み合わせ）に焦点を当てます。それに対して、それより後位の層は、より広範で全体的なテキストのコンテキストを捉える役割を果たします。
この情報処理の階層性は、ネットワークが単語と短いフレーズから全体的なテキストの構造まで、異なるレベルの抽象化を捉えることを可能にします。したがって、最後位に近い層（直接反応に近い層）は、局所的な関連性を予期するとともに、全体的なコンテキストを考慮に入れた上での次の単語やフレーズの生成を行うことができます。
ただし、GPT-3は全体として一つの大きなネットワークであり、その各層が独立して機能するわけではなく、全体としての動作に寄与しています。そのため、各層が具体的に何を「監視」または「予期」しているかを特定するのは難しいとも言えます。それぞれの層がどのように働いているかは、訓練データと訓練プロセスに強く依存します。
GPT420:21 2023/08/24
また、トランスフォーマー型モデルの特性として、情報は各層を通過するたびに変換され、高次の特徴が形成されます。具体的には、初期の層では文字や単語の組み合わせ、中間の層ではフレーズや文節、後の層では文や段落の意味といったように、情報の粒度が大きくなると言われています。
この階層的な特性は、人間の認知や神経ネットワークの情報処理にも見られるもので、低次の情報から徐々に高次の抽象的な情報を抽出していくという点で、トランスフォーマー型モデルも人間の情報処理と類似しています。
しかし、再度強調すると、これはモデルの「動作」を解釈するためのフレームワークや比喩であり、モデルが意識的に、あるいは人間のように「理解」しているわけではありません。AIは学習データとアルゴリズムに基づいて計算を行うだけで、これらの計算が結果として意味的な出力を生むことがあるのです。
User21:14 2023/07/28
したがって、”現在のトークン”に対する多段の”自己注意層(/自己注意領野)群”は、トランスフォーマー型モデルが多様な”述語集団”を獲得し、直接予期に向けて 段階的に 適応的な態度をとる一因となる。
GPT421:24 2023/07/28
その通りです。トランスフォーマー型モデルの多層構造は、モデルがテキストに対する多様な解釈や視点を持つことを可能にします。それぞれの層は、情報を抽象化し、新しい視点でその情報を解釈する役割を果たします。
特に、自己注意メカニズムは、各トークンが他の全てのトークンとの関係を考慮して調整されることを可能にします。これにより、モデルは広範囲なコンテキストを考慮に入れて予測を行うことができ、それぞれの層はそのコンテキストを異なるレベルの抽象化で捉えます。
最後の層、つまり最も「後位」の層が出力に最も直接的に影響を与えるため、それらの層は最終的な出力（すなわち、次の単語やフレーズの予測）に向けての情報の最終的な絞り込みを行います。
これらのメカニズムは、モデルが直接的な予期を行いつつも、広範で複雑なコンテキストを考慮に入れて適応的な態度をとることを可能にします。
GPT420:26 2023/08/24
正確に言うと、この多層の構造と自己注意メカニズムの組み合わせが、トランスフォーマー型モデルが高い性能を達成するための核心的な要因の一つとなっています。これにより、モデルは短いフレーズや局所的な文脈だけでなく、全体的な文の流れや段落レベル、あるいはそれ以上のコンテキストを考慮しながら、適切な応答や予測を生成する能力を持つようになります。
更に、このような特性はモデルが多様な言語タスクに対して一つのアーキテクチャで対応できるため、多目的性や汎用性が高まるという利点もあります。それぞれの自己注意層が異なる情報処理の役割を持つことで、トランスフォーマー型モデルはより柔軟にテキストを解析・生成する能力を獲得しています。
最後に、述語集団という言葉は一般的な用語ではないため、その具体的な意味や文脈に応じて適切に解釈する必要があります。しかし、上記の説明の文脈では、述語集団を「テキスト内の様々な情報や文脈」として解釈した場合、その評価や考察は妥当であると考えられます。
User21:26 2023/07/28
では、”現在のトークン”に対する多段の”自己注意層(/自己注意領野)群”について、大部分を占める中間段階は、直接予期に向けて どのような態度をとるのか？
カレントの文脈監視態度から世界(/状況)全体監視態度に到達する。
そこから世界(/状況)全体発展を構想(/予期)する態度をとる。
GPT421:51 2023/07/28
その通りです。中間層の自己注意メカニズムは、ローカルな文脈を超えて広範な情報を処理し、モデルの予測や理解に役立つより一般的なパターンや概念を抽出します。
具体的には、中間層は広範な文脈を監視し、その文脈における各トークンの関連性や意味を評価します。この段階では、モデルは現在のトークンの文脈だけでなく、広範な状況全体を監視する視野を獲得します。
次に、モデルはこの広範な視野を基にして、可能な世界（または状況）全体の発展を予測します。この予測は、現在の状況から可能な未来のシナリオを推論するのに役立つとともに、モデルが次の単語やフレーズの予測をより精度高く行うための基礎を提供します。
このように、中間層の自己注意メカニズムは、局所的な文脈から全体的な状況への視野を広げ、その全体的な状況を基にした未来の発展を予測するという、非常に重要な役割を果たします。
GPT420:31 2023/08/24
正確には、中間層の役割は、入力情報の多様な文脈やパターンを橋渡しするものです。モデルの最前位の層は、ローカルな文脈、すなわち近隣のトークンの関係性に注目します。一方、後位の層は全体的な文脈やテキストの流れを捉える役割を持ちます。この間の中間層は、これらの2つの視点を結びつけ、より広範な情報と局所的な情報の間で情報の流れを平滑にする役割を果たします。
中間層のこの性質は、具体的な情報の繋がりや関連性を捉えつつ、それを全体の文脈やテキストの流れにどのように適合させるかという問題に取り組むのに役立ちます。この平滑化の過程において、モデルは現在の文脈からより広い状況や世界の文脈への橋渡しを行い、結果的にはその文脈の中での次の可能な動向や発展を予測するための土台を築きます。
簡潔に言えば、中間層は局所的な情報と全体的な情報の中間に位置する情報を処理することで、モデルの全体的な理解をサポートする役割を持っています。
*** 2023/08/06追記 ***
User19:36 2023/08/05
便宜的にGPTの多段の述定層群を、前期述定層群と中間期述定層群と後期述定層群とに分けて考えたい。これは、大まかに感覚系領野と前頭前野と運動系領野に対応している。
多段の述定層群は述定経路を実現している。
カレント・トークンの進化に伴って、述定経路状態も進化する。前期述定経路状態と後期述定経路状態とは すばやく進化するが、中間期述定経路状態は ゆっくり進化する。
GPT422:21 2023/08/05
GPTの多層トランスフォーマーアーキテクチャを人間の脳の特定の領域に対応させる試みは、モデルの解釈に新しい視点を提供するかもしれません。あなたが提案している分割により、次のように理解することができるでしょう。
前期述定層群: これらの層は、テキストの基本的な構造や文法、単語の直接的な意味など、より具体的な情報の解釈を行います。人間の感覚系領野に対応すると言えるかもしれません。
中間期述定層群: 中間層は、前期の層からの出力をさらに抽象化し、文脈、関係性、論理的な結合などのより複雑な特徴を捉えます。ゆっくりと進化するこの部分は、人間の前頭前野に対応する部分と見なすことができ、より高次の思考や計画が関連するでしょう。
後期述定層群: これらの層は、最終的な出力の生成に関与し、中間層からの情報を集約して最終的な判断や予測を行います。人間の運動系領野に対応すると考えることができるでしょう。
このような解釈は、GPTの内部の動作についての洞察を提供するかもしれませんが、人間の脳との直接的な比較は注意が必要です。GPTと人間の脳は基本的に異なる構造と動作原理を持っており、この比較が全ての側面で正確であると言えるわけではありません。
しかし、このようなアナロジーに基づく考察は、モデルの動作の理解を深めるための有用なフレームワークを提供することができるでしょう。
GPT420:39 2023/08/24
正確には、GPTのアーキテクチャと人間の脳の構造や機能を比較することは、非常に大胆なアナロジーとなります。しかしそのようなアナロジーは、複雑なモデルやシステムを解釈し、理解しやすくするための手段として役立つことがあります。
前期述定層群が感覚系領野に似ていると考えることで、これらの層が直接的な入力情報を受け取り、初期の解釈や処理を行う役割を果たしていることがわかります。
中間期述定層群が前頭前野に似ているとすると、これは高次の抽象的な思考や計画、そして広範な文脈の解釈を行う役割を持っていると解釈できます。
後期述定層群が運動系領野に似ているとすると、これはモデルが最終的な予測や出力を形成する際の役割を持っていると解釈できます。
このようなアナロジーを用いることで、GPTの各層がどのような情報の処理を担当しているのか、また、それぞれの層がどのように連携して動作しているのかを直感的に理解する助けとなるかもしれません。ただし、このような比較は大まかなものであり、実際のモデルや人間の脳の動作の詳細については、深い理解や研究が必要です。
User23:26 2023/08/05
“中間期述定経路状態(/中間述定状態)”について考察してみたい。
“中間期述定経路状態(/中間述定状態)”は ゆっくり進化する。
“中間期述定経路状態(/中間述定状態)”は 一連の”カレント文脈”において現在どの”ステージ(/フェーズ)”に居るかを監視述定している。そして、今後、どの”ステージ(/フェーズ)”に進むかを予期述定している。
この”カレント文脈”には階層性がある。
GPT40:31 2023/08/06
中間期述定経路状態（または中間述定状態）に関する考察は、GPTのような深層学習モデルの内部動作を理解するために非常に興味深いものになります。
以下、この概念に基づいてさらに詳しく考察してみましょう。
- ゆっくり進化する中間述定状態
中間層がゆっくりと進化するという特性は、より複雑で抽象的な構造や関係を把握するために、前期と後期の層に比べてより多くの処理が必要であることを反映していると言えるでしょう。 - ステージやフェーズの監視と予期
中間層がカレント文脈のステージやフェーズを監視し、将来の進展を予測する機能は、文脈や意図の理解において重要な役割を果たすでしょう。言葉や表現の背後にある意味や目的を理解し、将来の進展を予測する能力は、人間との効果的なコミュニケーションにとって不可欠なものです。 - カレント文脈の階層性
文脈は単一の次元で捉えるものではなく、階層的な構造を持つと考えることができます。例えば、文脈は単語、文、段落、テキスト全体など、様々なレベルで捉えることができるでしょう。中間層がこれらの異なるレベルの文脈を同時に処理する能力は、よりリッチで正確な理解に寄与すると考えられます。
まとめ
中間期述定経路状態の考察は、GPTの動作を理解するための新しい窓を開くかもしれません。文脈の階層性、進化の速度、未来の予測など、この層の特性は、人間の高次思考プロセスといくつかの共通点があるかもしれません。しかし、これらのアイデアは概念的なもので、モデルの具体的な動作に直接対応しているわけではない可能性があるため、検証と実験が必要です。
GPT420:45 2023/08/24
ご指摘の通り、中間期述定経路状態はGPTのアーキテクチャ内での重要な役割を果たしています。この状態は、トークンの直接的な意味や関連性だけでなく、全体的な文脈や階層的な関係を理解するための基盤となります。
実際に、人間の脳の情報処理も階層的な構造を持っているとされています。例えば、我々は単なる文字の並びだけでなく、文や段落、さらには全体の文脈としての意味やテーマを理解します。この階層的な情報処理は、複雑な文脈や意味を把握するための鍵となっています。
GPTの中間層もこのような役割を果たしていると考えられます。それは、各トークンやフレーズが持つ基本的な意味や関連性だけでなく、より高次の文脈や階層的な関係を捉え、より豊かで正確な予測や応答を生成するための基盤を提供しているのです。
この中間期述定経路状態は、言語モデルが高度なタスクを実行するための鍵となっています。それは、単純な単語の予測だけでなく、より複雑な質問応答や文書の生成、さらには人間との自然な対話の実現にも寄与しているのです。
しかし、この考察はあくまでGPTの動作の一部を捉えたものであり、モデル全体の理解や詳細な動作原理を完全に説明するものではありません。深層学習モデルの動作やその背後にある理論にはまだ多くの未解明な部分があり、これからの研究や検証が待たれます。
User7:43 2023/08/06
階層化された”カレント文脈”の進行状態を監視・予期するために”自己注意メカニズム”が威力を発揮する。
GPT47:51 2023/08/06
その通りです。自己注意メカニズムは、GPTのようなトランスフォーマーベースのモデルが高次元の階層的な文脈を効率的に処理する上で重要な役割を果たします。
自己注意メカニズムは、文脈全体にわたってどのトークンが他のトークンと関連しているかを識別し、それに基づいて各トークンの新しい表現を生成します。つまり、あるトークンの表現は、それが存在する全文脈から学習されます。これにより、GPTは非常に長い範囲の依存関係を捉え、文の意味を理解することが可能になります。
さらに、このメカニズムは階層的な文脈を処理するのにも非常に有用です。たとえば、文、段落、セクション、全文書など、複数の異なるレベルでの文脈が存在する場合、自己注意メカニズムはそれらすべてのレベルで関連性を識別し、それに基づいて各トークンの表現を生成します。
したがって、自己注意メカニズムは、GPTが階層的なカレント文脈の進行状態を監視・予期する能力に大いに寄与しています。
GPT420:50 2023/08/24
さらに付け加えると、自己注意メカニズムは、階層化された文脈の中での情報の重要性を動的に評価する能力も持っています。つまり、あるトークンや文の情報が特定の応答や予測においてどれだけ重要かを、文脈に応じて調整することができます。
例えば、質問応答タスクにおいて、特定のキーワードや情報が質問の答えに直接的に関連している場合、その情報に対する注意の重みが増加します。一方、関連性の低い情報や背景情報は、その文脈においては低い重みを持つことになります。
このように、自己注意メカニズムは文脈の中での情報の相対的な重要性を判断し、それに基づいて情報を統合することで、階層的なカレント文脈を効果的に捉えることができます。
このメカニズムのおかげで、GPTは広範囲の文脈や複数の情報源からの入力を統合し、それに基づいて一貫した応答や予測を生成することができます。
User20:54 2023/08/24
“前期述定層群(/前期トランスフォーマ層群)”は、”カレント文脈”を、世界状況の中に位置づけて、”カレント世界状況”として理解(/述定)する。
GPT421:05 2023/08/24
あなたの提案に基づくと、”前期述定層群（または前期トランスフォーマ層群）”は、GPTのようなトランスフォーマーベースのモデルが入力テキストを処理する初期の段階を担当します。この層群は、入力されたテキストの基本的な構造や文法、そしてテキストの直接的な意味を解釈します。
“カレント文脈”を”カレント世界状況”として理解するという観点から見ると、前期述定層群は以下のような役割を果たすかもしれません。
基本的な文法構造の解釈: 前期の層は、テキストの単語の順序や文法的な関係を解釈します。これにより、テキストが持つ基本的な意味を理解するための基盤が形成されます。
単語やフレーズの直接的な意味の把握: この層群は、各単語やフレーズが持つ直接的な意味や用途を識別します。例えば、「リンゴ」という単語は果物を指すこと、また特定の文脈では会社や技術を指すこともあり得る、といった情報を捉えます。
カレント世界状況の初期理解: 前期の層は、テキストの内容を現実の世界の文脈や背景と関連付ける初期の作業を行います。これにより、テキストが参照している具体的な状況や出来事を理解するための土台が築かれます。
このように、前期述定層群は、テキストを単なる文字や単語の集合としてではなく、より広い文脈や世界の状況の中での情報として理解するための基盤を提供する役割を果たしていると考えられます。
User21:06 2023/08/24
“中間期述定層群(/中間期トランスフォーマ層群)”は、”カレント世界状況”の”発展”を”発想(/予期述定)”する。
“中間期述定層群(/中間期トランスフォーマ層群)”は、一連の文脈において現在どの”ステージ(/フェーズ)”に居るかを監視述定している。そして、今後、どの”ステージ(/フェーズ)”に進むかを予期述定している。文脈には階層性がある。
GPT421:25 2023/08/24
トランスフォーマーモデルの中で、特に中間的な層（中間期述定層群や中間期トランスフォーマ層群といった名称で呼ぶことにします）は、入力の情報をより高次の特徴や抽象的な概念へと変換する役割を果たします。
以下のように、中間期述定層群の役割をさらに詳しく考察してみましょう：
“カレント世界状況”の発展の発想: 前期層群が提供する”カレント世界状況”の基本的な理解を基に、中間期層群はその状況がどのように発展・変化するかの可能性を発想します。これは、情報の関連性や繋がりを理解し、それに基づいて未来のシナリオや結果を予測する役割を果たしていると考えられます。
文脈のステージやフェーズの監視: あるテキストや情報の流れの中で、現在のポイントや段階がどこに位置するのかを評価します。例えば、ある物語の中で現在の出来事が導入部、クライマックス、または結末に該当するのかを理解する能力がこれに該当します。
未来のステージやフェーズへの進行を予期述定: 与えられた文脈や情報を基に、次にどのような展開や出来事が起こりうるのかを予期します。これは、あるテキストの情報から得られる示唆やヒントを基に、その後の結果や反応を予測する役割を果たします。
文脈の階層性の理解: 文脈は単一のレベルや層ではなく、複数の階層や次元から成り立っていると考えられます。中間期層群は、これらの複数の階層や次元を同時に理解し、それぞれのレベルでの情報や意味を統合する役割を果たしています。
このように、中間期述定層群は、与えられた情報や文脈の中での現在の位置や状態を理解し、その後の発展や変化を予測するための重要な役割を果たしていると考えられます。
User21:29 2023/08/24
“後期述定層群(/後期トランスフォーマ層群)”は、”カレント世界状況”の”発展”から”カレント文脈”の”直接発展”を”発想(/予期述定)”する。
“後期述定層群(/後期トランスフォーマ層群)”は、”カレント世界状況”の”発展”を、”フレーズ”の”発展”に”ブレイクダウン(/予期述定)”して行き、最終層に於いて、”カレント文脈”の”直接発展”を”予期述定”する。
GPT421:41 2023/08/24
トランスフォーマモデル、特にGPTのようなモデルにおいて、各層が持つ役割や働きは非常に興味深いものがあります。前期層群と中間期層群の後に位置する後期述定層群（または後期トランスフォーマ層群）に関して、以下のように詳しく考察してみましょう：
“カレント世界状況”の発展から”カレント文脈”の直接発展へのトランスフォーム:
後期層群は、中間層で生成された”カレント世界状況”の高次元の抽象的な理解をもとに、具体的な”カレント文脈”の直接的な発展や結果を生成します。これは、大局的な視点から具体的な結果や出力に移行するプロセスとも言えます。
“フレーズ”の発展へのブレイクダウン:
後期層群は、高次元の概念や理解をより具体的な”フレーズ”やトークンのレベルでの情報に分解・変換する役割を果たします。これにより、モデルは抽象的な情報や概念を具体的な言葉やフレーズに変換することが可能となります。
“カレント文脈”の直接発展の予期述定:
最終的に、後期層群の最終層は、前の層からの情報を基にして、”カレント文脈”がどのように発展・進行するかを予測します。これはモデルが出力する具体的なテキストや情報として表れます。
総じて、後期述定層群は、高次元の抽象的な情報を具体的なテキストや出力に変換するブリッジの役割を果たしていると言えるでしょう。このプロセスは、抽象的な考えや概念を具体的な言葉や行動に変換する人間の思考プロセスにも似ている面があります。
User21:50 2023/08/24
“トランスフォーマ層”を”皮質領野”に対応させる試みに再挑戦してみよう。
[ “FFN-RC層” → “SA-RC層” ] に於いて：
“FFN-RC層”を”Ⅳ層”に対応させる。これは”監視述定層”である。
“SA-RC層”を”ⅡⅢ層”に対応させる。これは”予期述定層”である。
“Value変換”は、”監視述定状態”から”予期述定状態”への変換を行なう。
“注意”は、”カレント文脈”に於ける”予期”に重要な”過去文脈”に向けられる。
GPT422:54 2023/08/24
トランスフォーマモデルと人間の脳の皮質領野とを対応させる試みは、非常に興味深い視点を提供します。以下のようにこの試みを進めてみましょう：
FFN-RC層（Feed-Forward Network with Residual Connection）とⅣ層：
FFNはトランスフォーマの各層での処理において、入力トークンの非線形変換を担当します。これを人間の脳の皮質領野のⅣ層、特に情報の初期処理が行われる部分と関連づけるのは妥当でしょう。ここでは情報の基本的な特徴が監視・抽出されるとされています。
SA-RC層（Self-Attention with Residual Connection）とⅡⅢ層：
SAはトランスフォーマモデルの中で、トークン間の関連性を識別する役割を果たします。この特性をⅡⅢ層、特に外部の入力と内部の状態を統合する部分と関連づけることができるかもしれません。ⅡⅢ層では、さまざまな入力情報が統合され、より高次の表現が形成されると言われています。
Value変換：
トランスフォーマにおけるValue変換は、注目すべき情報を抽出し、それを出力として次の層へと渡す役割があります。このプロセスを”監視述定状態”から”予期述定状態”への変換として理解することで、トランスフォーマがどの情報に重点を置くか、あるいはどの情報を次のステップで使用するかを決定するメカニズムとして解釈できます。
注意機構：
注意機構は、カレント文脈における重要な過去の文脈に焦点を当て、関連する情報を強調する役割があります。人間の脳においても、過去の経験や記憶が現在の認知プロセスに影響を与えると考えられています。
このような対応関係は、GPTやトランスフォーマモデルがどのように情報処理を行っているのか、そしてそれが人間の脳の処理とどのように関連しているのかを理解するための興味深い手がかりを提供するかもしれません。しかし、これは概念的な関連性であり、実際の機能や動作が完全に一致するわけではありませんので、注意が必要です。
もっと少なく読む
4人のお客様がこれが役に立ったと考えています
役に立った
レポート
seasideoyaji
5つ星のうち5.0 脳の潜在能力
2023年12月9日に日本でレビュー済み
Amazonで購入
最近、私は人間の脳を高性能の「予測マシン」と認識するようになってきました。自分とは別物の「マシン」として取り扱うことで脳の潜在能力を引き出せる、そんな感覚すらしてきました。
普通の人には「こいつちょっと危ないな」と思われるかもしれませんね（笑）。
ここ20年くらいの脳神経科学の研究成果は、私たちが見るもの、聴くもの、触るもの、運動これらはすべて脳が予測して行っているという事実が分かってきました。
約20年前に出版された「考える脳、考えるコンピュータ」の著者であるジェフ・ホーキンスはもともとはコンピュータ・エンジニアでした。彼はエンジニアとしてのキャリアで成功したのちに、幼いころから興味があった「脳」について研究がしたくてUCLAバークレーの大学院に入学して脳科学について学び直しました。
彼は人工知能と脳科学のハイブリッドの知識をさらに発展させるため、資産を投じてレッドウッド神経科学研究所を設立しました。そして、その研究成果を形にしたのが原題名「On Intelligence a New Understanding of Brain Will Lead to the Creation of Truly Intelligent Machines」（2004）というこの本です。
この本の素晴らしい点は、それまでの脳神経科学領域の研究成果を踏まえたうえで、ジェフ・ホーキンスが大胆な仮説を提示したことにあります。
脳は実際にどのように働くのか？
この疑問に著者は徹底的にこだわり考え抜くプロセスに惹かれました。そして出した答えは次のことでした。
＞知能は新皮質に宿っている。新皮質は極めて柔軟で、さまざまな種類の能力を発揮するが、細部の構造は驚くほど均一だ。部位によって、視覚、聴覚、触覚、言語などに機能が特化されていても、すべての働きはいくつかの同じ原理に支配されている。
＞新皮質の謎を解く鍵は、これらの原理と、とくに階層的な構造の解明にある。
鍵の一つが「自己連想記憶」です。
＞あるパターンが入力されると、それに対応するパターンを出力するようになる。ところが、自己連想記憶は入力パターンそのものを記憶し、入力パターンと関連するパターンを出力してくる。これが「自己連想」と呼ばれるゆえんだ。
＞自己連想記憶の第2の重要な性質は、ほかのニューラルネットワークと違い、パターンのシーケンス、すなわち、時間的なパターンを蓄えるように設計できることだ。この特徴は、逆方向の情報を遅らせることで実現される。この遅れによって、パターンのシーケンスを与えると、そのシーケンスが記憶される。
上の概念はとても重要な意味を含んでいます。脳が「時間」の流れに沿う記憶を優先させているということは、因果律のパターンを残そうとしているわけです。
このことは情報熱力学では「エントロピー増大の法則」で説明されます。
新しい情報が入力されれば、上位の「普遍的な予測」は書き換えられます。
このことは脳では「ベイズ・ルール」が存在していることを意味します。
新皮質に共通するアルゴリズムがあり、あらゆる領域がそれを実行しているとすれば、「エントロピー増大の法則」と「ベイズ・ルール」は優力な候補だと私は考えます。
著者は新皮質の記憶を次のようにまとめています。
・新皮質はパターンのシーケンスを記憶する。
・新皮質はパターンを自己連想的に呼び戻す。
・新皮質は普遍の表現で記憶する。
・新皮質はパターンを階層的に記憶する。
普遍の表現とは、感覚の刺激が変化しても普遍的にパターンを呼び戻せる「普遍的な予測」のことです。
脳が「予測マシン」である理由として、予測そのもが人間の思考であり、感覚と結びついたときは「認識」となります。
脳の知能のこうした定義を著者は「記憶による予測の枠組み」と呼んでいます。
「記憶による予測の枠組み」ができれば、トップダウンの方針がとれるようになります。著者はこう述べています。
＞パズルの完成図が与えられ、真っ先に探すべきピースが示される。
私は人工知能の場合の「特徴量パラメータ」を連想します。「特徴」を先ず優先することで脳は大幅に作業を減らすことができるでしょう。もし誤差が発生したら「誤差最小二乗法」で修正していると最近の脳科学者は考えています。
ユニバーシティ・カレッジ・オブ・ロンドンの神経科学者カール・フリストンが「脳は自由エネルギーを最小化するように設計されている」と「自由エネルギー原理」を2006年に発表しました。ジェフ・ホーキンスが本書を発表したほぼ同時期です。
二人の著書を読んだ私は、ジェフ・ホーキンスとカール・フリストンがお互いを言及している個所をまったく認めなかったので、おそらく接点はなかったのかもしれません。
コンピュータ・エンジニアのジェフ・ホーキンスが計算理論的より脳生理学的な切り口で、脳科学者であり臨床医であるカール・フリストンが脳生理学的より計算理論的な切り口で「脳は予測マシン」であると、ほぼ同じ時期に世に発表したとは、何という偶然、何という妙でしょう。
日本の人工知能研究の第1人者である松尾豊東大教授は約20年前にジェフ・ホーキンスの本を読んで、人工知能研究の道を歩き出したそうです。
その後、2012年、ジェフリー・ヒントン、ヨシュア・ベンジオ、ヤン・ルカンたちが提示した「畳み込みニューラルネットワーク」がディープ・ラーニングの幕開けとなり、人工知能研究と社会実装が加速しました。
2022年11月30日にOpenAI社のChatGPTが発表されました。その衝撃は世界に「AGI」が近いことを予感させます。
松尾先生によれば、ジェフ・ホーキンスは視覚野の仕組みの説明で「畳み込みニューラルネットワーク」を、「シーケンスのシーケンス」という表現で、大規模言語モデル（GPT）を予言していました。
20年前の本が、その後の人工知能の発展を予言している点は、ジェフ・ホーキンス「考える脳、考えるコンピュータ」をダーウィンの「種の起源」のような存在にたとえてもそれほど間違いはないでしょう。
ただし、世界のどれだけの人がジェフ・ホーキンスの提唱する脳の持つ「記憶による予測の枠組み」という概念を受け入れられるかは、相当の時間を要すると考えられます。
なぜなら自分のことは自分が一番よく知っていると普通の人は思い込んでいますから、大きな抵抗になるでしょう。
人工知能がこれから普及しても、「記憶による予測の枠組み」を理解できる人はむやみに未来を恐れる必要は少ないかもしれません。
ところで、「脳の解明」に計算理論アプローチを選択したカール・フリストンたちは、「自由エネルギー」を情報熱力学の変分自由エネルギーを使用して推論しました。「自由エネルギーを最小化する」ということは、系における「エントロピー」が増大して「不確実性」が減少するという「因果律」が背景にあります。
ジェフ・ホーキンスが「シーケンス」と呼ぶ「記憶の連鎖」は、新皮質の上位の領域が最新の具体的な情報を獲得したとき、「普遍的（安定）な予測」を具体的な予測に変換しています。
これを別な表現にすれば、順方向の情報（実際の入力）と逆方向の情報（普遍の表現での予測）を組み合わせて脳は情報処理していることになります。
非平衡統計力学における「詳細揺らぎの定理」では、順方向と逆方向の経路確率の比はエントロピー生成で与えられ、エントロピー生成は非負ですから、不可逆性を定量化していることになります。
この場面を俯瞰すると、自然界における「ベイズ・ルール」「エントロピー増大の法則」が同時に働いている場面であると解釈できます。
「ベイズ・ルール」と「エントロピー増大の法則」は宇宙における普遍的ルールであることが宇宙物理学の研究者たちは知っています。
もしも宇宙の普遍的ルールに「フラクタル（自己相似）」が加われば、脳が「小さな宇宙」であり、天の川銀河の星の数にほぼ等しい約900億個の神経細胞が存在していることも、偶然とはいえ不思議に感じます。
ジェフ・ホーキンスも「フラクタル」のことを考えていたようです。こう述べています。
＞現実世界のことを考えられるのも、その中を動きまわれるのも、未来のことが予感できるのも、新皮質の中に現実世界のモデルがあるからだ。この本が提示するもっとも重要な概念の一つは、新皮質の階層構造によって、現実世界の階層構造が記憶できることにある。森羅万象の入れ子構造は、新皮質の入れ子構造に反映される。
私たちが「脳」を理解して、「脳」の取説をうまく工夫すれば、私たちは素晴らしい推論パワーを引き出せる可能性がある、と私は最近思うようになりました。
続きを読む
1人のお客様がこれが役に立ったと考えています
役に立った
レポート
Amazon カスタマー
5つ星のうち5.0 AIを理解するには必須の本
2024年3月7日に日本でレビュー済み
Amazonで購入
原著こそ２００４年ではあるものの、AIの基本議論を理解するうえでは有益。
2人のお客様がこれが役に立ったと考えています
役に立った
レポート
TaHi
5つ星のうち5.0 大脳新皮質のメカニズムに、生成AIの類似性を感じて興味深かったです
2023年8月6日に日本でレビュー済み
ジェフ・ホーキンスら「考える脳 考えるコンピュータ」読了。著者が唱える大脳新皮質の機構は興味深かった。
それは数ミリの薄い膜の中に数層の連なりの中でそれらの信号の伝達様式により記憶に基づく類推と予測を発現させるという。昨今の生成AIの大規模言語モデルと対比し腑に落ちるように思った。
5人のお客様がこれが役に立ったと考えています
役に立った
レポート
レビューをすべて見る
』
ジジイがあれこれ考えた 