【東芝が快挙】量子コンピュータを作らず100倍速を達成…
https://youtu.be/gE-WkaqoY-0

※　Qコードが、「A2」というエラー・コードを吐いて、起動しない…。

※　セルフチェックの段階で止まって、先に進まない…。

※『マザーボード Qコード A2 IDE検出 意味
https://www.bing.com/search?q=ASUS%E3%83%9E%E3%82%B6%E3%83%BC%E3%83%9C%E3%83%BC%E3%83%89+Q%E3%82%B3%E3%83%BC%E3%83%89+A2+IDE%E6%A4%9C%E5%87%BA+%E6%84%8F%E5%91%B3&cvid=e89cfe1cdaa44639a5a2bb9af853233d&gs_lcrp=EgRlZGdlKgYIABBFGDkyBggAEEUYOTIHCAEQ6wcYQNIBCTY1ODc4ajBqOagCBbACAQ&FORM=ANAB01&PC=U531

Copilot 検索

……マザーボードのQコードA2は、IDE（IDE検出エラー）を示しています。このエラーは、マザーボードがIDEデバイスを正しく検出できないことを意味します。具体的には、HDDやSSDなどのIDEデバイスが認識されず、BIOSでエラーが発生することがあります。

このエラーは、ストレージデバイスやその接続、BIOS設定に関連した問題を示しています。特に、ストレージデバイスが物理的に故障している、またはケーブル接続が緩んでいる可能性があります。

QコードA2エラーが表示された場合、まずはハードウェアの接続を確認し、必要に応じてハードウェアを交換することを検討してください。また、BIOS設定を見直すことも重要です。』…、と言うことだ…。

※　幸い、サブ機は生きてたんで、そっちから投稿している…。

※　だけど、これ、ちょっと古い機種で、Windows11にアップグレードできないのよ…。

※　Windows10のサポート終了も、間近だしなあ…。

※　どうしたものか…。

NVIDIA製GPUの数十倍速い？　次々に出てくる「AI専用チップ」とは何者か　識者に聞く高速化の仕組み
https://www.itmedia.co.jp/aiplus/articles/2407/30/news137.html

『2024年07月31日 09時00分 公開
[斎藤健二，ITmedia]
印刷
見る
Share
57
2
　スタートアップ企業の米Etchedが発表した「Sohu」が、AI業界に新たな波紋を投げかけている。トランスフォーマーモデルに特化したこのAI専用チップは、米NVIDIAのH100 GPUと比較して20倍高速かつ低コストで動作すると主張しているからだ。

　SohuのようなAI専用チップの登場は、AI業界にどのような変革をもたらすのか。汎用性の高いGPUから特化型チップへの移行は、AI開発のアプローチをどう変えるのか。そして、こうした専用ハードウェアの普及は、ソフトウェア開発の方向性にどのような影響を与えるのか。

　オーダーメイドによるAIソリューション「カスタムAI」の開発・提供を行うLaboro.AI（東京都中央区）の椎橋徹夫CEOに、AI専用チップがもたらす可能性と課題について聞いた。

Laboro.ai代表取締役CEOの椎橋徹夫氏
プロフィール：椎橋徹夫

米国州立テキサス大学理学部卒業後、ボストンコンサルティンググループに参画。消費財や流通など多数のプロジェクトに参画した後、社内のデジタル部門の立ち上げに従事。その後、東大発AI系のスタートアップ企業に創業4人目のメンバーとして参画。AI事業部の立ち上げをリード。東京大学工学系研究科松尾豊研究室にて「産学連携の取り組み」「データサイエンス領域の教育」「企業連携の仕組みづくり」に従事。同時に東大発AIスタートアップの創業に参画。2016年にLaboro.AIを創業し、代表取締役CEOに就任。

──現在のAIチップ市場はどのような状況でしょうか？

椎橋：現在のAIチップ市場には、大きく分けて2つの流れがあります。1つは汎用的なGPU（Graphics Processing Unit）で、もう1つは用途特化型のASIC（Application Specific Integrated Circuit：特定用途向け集積回路）です。

ベンダー アーキテクチャ AI フォーカス 売りの特徴 市場フォーカス
NVIDIA GPU 全て（学習＆推論） パフォーマンス/SWスタック/エコシステム 全てのAI
AMD GPU 全て より多くのHBM/より多くのFLOPS 全てのAI
Intel Gaudi ASIC 全て 価格/性能比 エンタープライズAI
Google TPU V4p ASIC 全て Google Gemini Google内部ワークロード
AWS Trainium2 ASIC 学習 AWSクラウドでの低コスト エンタープライズ小規模トレーニング
AWS Inferentia ASIC 推論 AWSクラウドでの低コスト エンタープライズ推論
Microsoft Maia ASIC 全て Microsoft 360向け Microsoft 360アプリ/エンタープライズファインチューニング
Qualcomm Cloud AI100 ASIC 推論 ワット当たり最高性能 準大手クラウド
Cerebras CS2 ウェハースケールASIC 学習 新モデルへの容易なスケーリング 準大手クラウドとエンタープライズトレーニング
Groq LPU ASIC 推論 高速LLM推論 推論サービス
SambaNova SN30 & SN40 ASIC 学習 高速かつ効率的な学習 トレーニングサービス
Tenstorrent AI ASIC/RISC-V カスタムチップ用IP ジム・ケラー設計 組み込みチップ/データセンターAI
　まず、GPUの方を見てみると、特にデータセンター向けのAIチップ市場では、NVIDIAのGPUが圧倒的なシェアを持っています。具体的には、90％以上のシェアを占めており、ほぼ独占状態と言っても過言ではありません。米AMDも一部GPUを作っていますが、NVIDIAの独占的な状況は変わりません。

　一方で、ASIC、つまり用途特化型のチップの方では、いくつかの大手テクノロジー企業や新興企業が参入しています。例えば、米GoogleのTPU（Tensor Processing Unit）や、米AppleのNPU（Neural Processing Unit）などが挙げられます。これらは、それぞれの企業が自社の製品やサービスに最適化する形で開発しているASICです。

　そして最近、特に注目を集めているのが、米Cerebras Systemsや米Groq、米Tenstorrentといったスタートアップ企業です。これらの企業は、AIの学習や推論に特化した新しいタイプのチップを開発しています。

──なぜこのような新興企業が出てきているのでしょうか？

椎橋：この背景には、AI全般に対する大規模な資金流入があります。AIの重要性が増す中で、AIの学習や推論に必要な計算資源に対するニーズが世界的に高まっています。それに伴い、より効率的な計算能力を提供するチップへの需要も急増しています。

　また、NVIDIAのGPUの供給不足という状況も、新たなプレイヤーの参入を後押ししています。NVIDIAのGPUを製造している台TSMC（Taiwan Semiconductor Manufacturing Company）の生産能力がボトルネックとなり、GPUが不足する事態が起きています。この状況下で、新たなソリューションを提供する企業が注目を集めているわけです。

──新興企業の中でも特に注目されている企業はどこですか？

椎橋：特に注目を集めているのは、Cerebras Systems、Groq、そしてSohuを発表したEtchedです。加えて、つい先日ソフトバンクグループが買収を発表したGraphcore、理化学研究所も試験的に採用をしているSambaNova Systemsも有名です。

Etchedが発表したトランスフォーマー特化型チップ「Sohu」
　Cerebras Systemsのウェハースケールエンジンは、従来のチップ製造方法を根本から変えようとする非常に野心的なアプローチです。

　通常、半導体チップは、円形のシリコンウェハーから複数の小さなチップを切り出して作ります。これは生産効率を上げるための方法ですが、チップの大きさには制限があります。それに対してCerebrasは、ウェハー全体を1つの巨大なチップとして使用します。これにより、従来のNVIDIAのGPUと比較して、面積で50倍以上、搭載できるコア数で100倍以上、メモリ容量でギガバイトからテラバイトレベルへと大幅に増やすことができます。

　このアプローチの利点は、チップ間の通信が不要になることです。従来の方式では、複数のチップ間でデータをやりとりする必要がありましたが、ウェハースケールエンジンではそれが不要になるため、処理速度と効率が大幅に向上します。

　ただし、これほど大きなチップを製造することは技術的に非常に難しく、生産歩留まりの問題もあります。また、これだけ大規模なチップを冷却することも課題となります。

　Groqは、元GoogleのTPU開発者が立ち上げた会社で、LPU（Language Processing Unit）と呼ばれる、大規模言語モデルの推論に特化したチップを開発しています。Ethcedは最近登場した企業で、トランスフォーマーに特化したチップを開発しています。

　これらの企業は、従来のGPUとは異なるアプローチで、AIの処理を高速化・効率化しようとしている点で注目を集めています。

──GroqやEthcedのアプローチはどのようなものですか？

椎橋：Groqは、大規模言語モデルの推論処理に特化したチップを開発しています。彼らが開発しているLPUは、現在のAI、特に自然言語処理の分野で主流となっているトランスフォーマーアーキテクチャ等をベースとした言語モデルの特性に合わせて最適化されています。

　実際の性能としては、例えば700億パラメータのモデルで1秒間に350トークンを生成できるほどの速度を達成しています。これは一般的なGPUと比較して非常に高速です。

　一方、Sohuはさらに踏み込んで、トランスフォーマーアーキテクチャのみに特化したチップを開発しています。彼らのアプローチは、トランスフォーマーの処理特性に合わせてハードウェアを最適化するというものです。

そもそもトランスフォーマーはどのように動いているのか
──トランスフォーマーモデルの処理の特徴について、詳しく教えていただけますか？

椎橋：トランスフォーマーモデルの処理の特徴を理解するには、まず従来のRNN（Recurrent Neural Network）との違いを理解する必要があります。

　RNNの処理の仕方は、入ってきた単語を順番にニューラルネットワークに入れて処理していきます。これまでに入力された単語の意味は、ニューラルネットワークの中に1つのベクトルとして圧縮されています。そして、新しく入ってきた単語との関係性だけを見ていくという形になります。つまり、これまで入ってきたものを「がっちゃんこ」した、総合としてのベクトルと、新しく入ってきた単語のベクトルの関係性を見るだけです。

　一方、トランスフォーマーモデルは全く異なるアプローチを取ります。トランスフォーマーの核心部分は「アテンション機構」と呼ばれるもので、これが非常に特徴的です。

　トランスフォーマーモデルでは、入力された全ての単語（トークン）同士の関係性を、それぞれ個別に計算します。例えば、10個の単語が入力されたとすると、1つの単語に対して他の9個の単語との関係性を全て見ていきます。そして、これを全ての単語に対して行います。

　この処理方法により、文脈をより深く、より正確に理解できるようになります。直感的に考えても、全ての単語間の関係性を見る方が、より精度の高い理解ができそうだと想像できますよね。実際、この方法により、トランスフォーマーモデルは非常に高い性能を発揮しています。

　ただし、この処理方法には大きなデメリットもあります。それは、計算量が膨大になるということです。入力されるトークンの数が増えれば増えるほど、計算量は飛躍的に増加していきます。

　また、この処理には大量のメモリアクセスが必要になります。入力された文章をいったんメモリに置いて、そこから何度も参照しながら処理を行う必要があるからです。

　さらに、この処理は並列化が難しいという特徴があります。全ての要素が互いに関係し合っているため、単純に処理を分割して並列に実行するということが難しいのです。

【トランスフォーマーの処理：分かりやすい例】

　トランスフォーマーの処理、特にその核心であるアテンション機構を理解するために、次のような例を考えてみましょう。ある主（王様、政治家、組織長……）に仕える100人の専門家からなるアドバイザリーボードがいます。主は、アドバイザリーボードの意見（総意）を踏まえて、自らが信じる意思決定をします。

　従来のRNNモデルでは、この状況を次のように処理します。

1人の人（仮にBさんとします）が立ち上がり、右隣のAさんに意見を聞きます。
Bさんは聞いた意見と自分の意見を合わせて要約し、左隣の次の人（Cさん）に渡します。
Cさんは、Bさんから受け取った要約と、自分の意見を合わせて新たな要約を作り、次の人に渡します。
これを100人全員が終わるまで繰り返します。
最後の100人目のアドバイザーは、主に要約を渡します
主はもともと持っていた自分の考えとアドバイザリーボードの総意（要約）を踏まえて意思決定をします
　ここで問題なのは、次の2点です。

100人のアドバイザリーボードの要約は、最後に近いアドバイザーの意見ほど強く反映されがち（初めの方の人たちの意見は忘れられがち）
アドバイザリーボードは、主がもともと持っている考えを知らず、それを踏まえた意見集約にはなっていない
　一方、トランスフォーマーモデルは、この状況を全く異なる方法で処理します。

全員が同時に立ち上がります
各人が、他の99人全員と直接会話を交わします
各人は、他の99人が自分の意見にとって有用な専門知見をどれだけを持っているかを見極めて、有用度に応じてそれぞれの意見を取り入れ自分の意見をアップデートします（アテンション）
これを全員が同時に行います
最後に、主が100人それぞれと会話をします
主は、もともとの自分の考えと各アドバイザーの意見の関連度合いを見極めて、関連度に応じて意見を取り入れて、最終的な意思決定をします。
　このトランスフォーマーの方法には、いくつかの重要な特徴があります。

並列処理：全員が同時に情報交換を行うため、処理が高速です。
直接的な関係性の把握：各人が他の全員と直接対話するため、情報のひずみが少なくなります。
大量の計算：100人それぞれが99人と対話するため、総計9900回の対話が発生します。これは膨大な計算量を意味します。
メモリ要求：各人は99人分の情報を一時的に記憶する必要があります。これは大量のメモリを必要とすることを意味します。
　この例で分かるように、トランスフォーマーモデルは非常に詳細で包括的な情報処理を行いますが、それには大量の計算リソースとメモリが必要になります。これが、トランスフォーマーモデルに最適化された特殊なハードウェアが必要とされる理由です。

──トランスフォーマーの特徴は、ハードウェア設計にどのような影響を与えるのでしょうか？

椎橋：トランスフォーマーモデルの特性は、従来のGPUで効率的に処理するのが難しい面があります。

　トランスフォーマーの処理はRNNと比較するとGPUの計算に向いているものの、先ほど説明したように複雑に絡み合っているため、単純な並列計算に持ち込むのが難しいのです。

　また、GPUとメモリの間でデータをやりとりする回数が多くなります。トランスフォーマーモデルの処理では、入力されたデータをメモリに置いて、それを何度も参照しながら計算を行います。そのため、メモリアクセスと演算処理の切り替えが頻繁に発生します。これは処理効率を下げる要因になります。

　このような特性に対応するため、トランスフォーマーモデルに最適化されたハードウェア設計が重要になってきています。

　その鍵となる基本的な考え方は、ハードウェア（チップ）が実行できる計算処理（命令セット）をそのモデルアーキテクチャの処理に必要な種類の計算に絞って、それぞれの種類の計算をする処理ユニットをちょうど良いバランスでそろえて配置することです。

　手工業に例えるならば、CPUはどんな作業でもこなせる多能工が1人でいろいろな製品を作っている状態、GPUはどんな作業でもこなせる多能工が複数人で並行していろいろなパーツを作り組み立てている状態です。作りたい製品が多様な場合は効果的な方法ですが、作りたい製品と組み立てのプロセスが決まっている場合、これは非効率なやり方です。

　ではどうしたらいいか。それは、必要な各作業に特化した単能工をそれぞれちょうど良い人数をそろえて、作業分担をする形で配置し、流れ作業のラインを作ることです。

　先ほど述べたGroqのLPUは、その仕組みに「Tensor Streaming Processor」、つまり言語モデルの処理の中心になる行列（テンソル）のいくつかの種類の計算をユニット化して、ユニット間で処理データを受け渡していく流れ作業（ストリーミング）にする、という考え方を採用することで、言語モデルの推論の大幅な高速化を実現しています。

Groqチップのアーキテクチャ。やりたいことを言語モデルの処理に絞れば、「Matrix Unit＝密行列の掛け算をする部分」「switch unit＝データを流す処理の部分」「メモリ」「Vector Unit＝ベクトルの計算を扱う部分」のようにシンプルな処理ユニットの種類を作って並べることができる
　また、大胆にトランスフォーマーアーキテクチャのみに照準を定めるEtchedのSohuは、さらに細かくトランスフォーマーの計算処理プロセスにピッタリ合わせた計算ユニットの設計と配置を行いました。トランスフォーマーの処理であれば、従来GPUが計算リソースの30％程度しか有効に稼働させられていなかったところを、90％以上の稼働を実現しているとうたっています。

Sohuは、Llama70Bのスループットで毎秒50万トークンを超え、現在の主流GPUであるH100に比べて20倍の速さ、NVIDIAの次世代GPUであるBlackwell（B200）に比べても桁違いに高速で安価になることを狙っている
──トランスフォーマーモデルに特化したハードウェアには課題はありませんか？

椎橋：最大の課題は汎用性の低さです。トランスフォーマーモデルに最適化されたハードウェアは、他タイプのAIモデルをそもそも実行できなかったり、実行できても効率が大きく低下する可能性があります。

　また、AIのアーキテクチャは急速に進化しています。例えば、最近では米MicrosoftのRetentive Networkや、画像処理分野でのMamba（選択的状態空間モデル）など、トランスフォーマー以外の新しいアーキテクチャも登場しています。特定のアーキテクチャに過度に最適化されたハードウェアは、新しいモデルが登場した際に陳腐化するリスクがあります。さらに、トランスフォーマーモデル自体も進化を続けています。ハードウェアの開発サイクルはソフトウェアよりも長いため、最新のモデルの特性に常に対応し続けることは難しい課題です。

　ただ、こういった課題がある一方で、可能性もあります。トランスフォーマー向けASICがある程度普及すると、ハードウェアも含めて考えた場合、中期的にはトランスフォーマーモデルの方が有利な状況が続くかもしれません。

　なぜかというと、現在のトランスフォーマーアーキテクチャは、特に大規模言語モデルの分野でほぼ独占状態にあるからです。そこにトランスフォーマー向けASICが普及すると、ソフトウェアの効率だけで見れば優れた新モデルが登場しても、ハードウェアも含めて考えるとトランスフォーマーの方が全体的に性能が良いという状況が生まれるかもしれないからです。この相互作用が、トランスフォーマーモデルの優位性をさらに強化する可能性があるのです。

AIチップで垂直統合のアプローチが増える？
　これまでのコンピュータ産業、特にソフトウェア産業は、水平分業によって急速な発展を遂げてきた。ハードウェアとソフトウェアを分離することで、それぞれの分野で専門性を高め、イノベーションを加速させてきたのである。しかし、AIの世界では状況が少し異なるようだ。大規模な言語モデルの学習や推論には膨大な演算能力が必要で、エネルギー効率も重要な課題となっている。このリソースの制約に対処するためには、ハードウェアとソフトウェアを緊密に連携させる必要があるからだ。

　そのため、AIチップの開発では、従来の水平分業よりも、ソフトウェアとハードウェアをすり合わせた垂直統合型のアプローチが増えていく可能性がある。これは、製造業における「すり合わせ」の文化を持つ日本にとって、新たな機会となるかもしれない。自動車産業や産業用ロボットなど、日本が強みを持つ分野でのAI応用と組み合わせることで、日本の半導体産業が再び世界で競争力を持つ可能性もあるだろう。

』

【技術解説】マルコフモデルと隠れマルコフモデル
https://mieruca-ai.com/ai/markov_model_hmm/

『2018-05-30

執筆：金子冴

今回はマルコフモデルと，マルコフモデルを拡張した隠れマルコフモデルを題材に，それぞれのモデルの解説と2つのモデルの違いについて解説する．

まずはマルコフモデルについて解説しよう．

目次

マルコフ過程とは
マルコフ過程の分類とマルコフ連鎖について
隠れマルコフモデルとは
マルコフモデルと隠れマルコフモデルの違い(応用例)
参考

マルコフ過程とは

マルコフモデルを説明すると言っておきながら，見出しがマルコフ過程となっていることに疑問を抱く人もいるだろう．一般的にマルコフモデルといった場合，マルコフ過程を指す．それでは，マルコフモデル改め，マルコフ過程の概要を確認しよう．

マルコフ過程の概要

“マルコフ過程（マルコフかてい）とは、マルコフ性をもつ確率過程のことをいう。すなわち、未来の挙動が現在の値だけで決定され、過去の挙動と無関係であるという性質を持つ確率過程である。” ? マルコフ過程(wikipedia)

上記の概要にある確率過程とマルコフ性については，定義を確認する必要があるだろう．初めに確率過程について確認する．

確率過程とは
確率過程とは何を指すのだろうか．まずはwikipediaを確認しよう．

“確率論において、確率過程（かくりつかてい、英語: stochastic process）は、時間とともに変化する確率変数のことである。 株価や為替の変動、ブラウン運動などの粒子のランダムな運動を数学的に記述する模型（モデル）として利用している。不規則過程（英語: random process）とも言う。” ? 確率過程(wikipedia)

wikipediaの言葉を借りれば，確率過程とは時間と共に変化する確率変数を指すらしい．では確率変数とは何なのか．

wikipediaによると，確率変数とはランダムな実験により得られ得る全ての結果を指す変数との記述がされていた．私たちがよく使う確率は一義的に値が決まるのとは違い，確率変数は確率に従って定義域内の様々な値を取ることができる．簡単に言い直すと，確率変数は確率を決めるときに利用する数である．

例を挙げて確率変数を理解しよう．

確率変数の例としてよく使われるのはサイコロである．今回は，1から6の目がある6面体のサイコロを考える．この時，出目の取りうる値，つまり確率変数XはX={1,2,3,4,5,6}と表される．他にもコイントスの例を考えてみると，コイントスの結果は「表」「裏」の2択のため，「表=1」「裏=0」と定義した場合，確率変数XはX={1,0}と表せる．

では，確率過程の説明に戻ろう．

定義では，確率過程とは時間と共に変化する確率変数となっていた．先ほど挙げたサイコロやコインの例は，この確率過程に当てはまらないことはわかるだろう．なぜなら，サイコロの目やコインの表裏は時間と共に変化しないからである．ここでいう「時間と共に変化」とは，サイコロを振って出目を確認した後，その1秒後にもう一度見たら出目が変わっているようなことを指す．

確率過程について，例を挙げてみよう．

確率過程の例には，株価の変動が挙げられる．ここで，株価が500円以上の確率が0.4，500円未満の確率が0.6である状況を仮定しよう．この場合，確率はある時点での株価によって決まるが，株価は時間と共に刻一刻と変わっていくため，時間によって確率は変動する．このように時間で変化する確率変数を確率過程と呼ぶ．

確率過程についてはご理解いただけただろうか．ここで，確率過程の定義には出現していないが，確率分布についても解説しておこう．確率分布は，その次に解説するマルコフ性の定義に出現しているため事前に理解しておく必要がある．

確率分布とは

確率分布のwikipediaを確認すると，以下のように説明されている．

“確率分布（かくりつぶんぷ, 英: probability distribution）は、確率変数の各々の値に対して、その起こりやすさを記述するものである。” ? 確率分布(wikipedia)

確率分布には確率変数が離散的な場合と確率変数が連続的な場合が存在するが，ここでは離散的な場合を考える．連続的な場合を理解するためには測度の概念等が必要となるため，ここでは割愛する．
理想的な6面サイコロを考えてみよう．ここでいう理想的とはすべての出目(つまり確率変数)の出る確率が同じことを指す．サイコロには6面存在し，すべての出目が出る確率が同じ場合，各出目の出る確率は1/6となるため，X={1,2,3,4,5,6}とした時，確率分布PXは以下のようになる．

P
(
X

)

1
6
少し難しい例として，理想的な6面サイコロを2回投げた時の出目の和の確率分布を考えてみよう．
出目の和と出目のパターン，その確率は以下の図のようになる．このときの確率の分布を表したものが確率分布となり，確率変数が離散的な場合にはヒストグラムで表されることが多い．

併せて，条件付き確率分布についても簡単に確認しておこう．

条件付き確率分布とは

条件付き確率分布とは事象が2つ存在する場合に一方の事象が発生した場合の，もう一方の事象が発生する確率の分布を指す．

事象Aと事象Bについて，事象Aが発生したときの事象Bの条件付き確率P(B|A)は以下の式で定義される．
この条件付き確率の分布を表したものが，条件付き確率分布である．

P
(
B
|
A

)

P
(
A
∩
B
)
P
(
A
)
確率分布，条件付き確率分布についても理解できたところで，次はマルコフ性について確認しよう．

マルコフ性とは

マルコフ性について，wikipediaで定義を確認しよう．

“マルコフ性（マルコフせい、英: Markov property）とは、確率論における確率過程の持つ特性の一種で、その過程の将来状態の条件付き確率分布が、現在状態のみに依存し、過去のいかなる状態にも依存しない特性を持つことをいう。すなわち、過去の状態が与えられたとき、現在の状態（過程の経路）は条件付き独立である。” ? マルコフ性(wikipedia)

確率過程X(t)についてt>0がマルコフ性を持つとき，数学的に以下の式が成り立つ．

P
r
[
X
(
t
+
h

)

y
|
X
(
s

)

x
(
s
)
,
∀
s
?
t

]

P
r
[
X
(
t
+
h

)

y
|
X
(
t

)

x
(
t
)
]
,
∀
h
>
0
この式からわかる通り，X(t+h)の確率分布はs<tとなるすべてのsの事後確率ではなく，直前(t)のみの事後確率として定義される．

例えば，天気がマルコフ性を持つ場合を仮定してみよう．

一般的に，翌日の天気は今日までの雲の動きを参考に予測される．つまり，翌日の天気を予測するためには，昨日以前の天気の情報も利用する必要がある．しかし，天気がマルコフ性を持つ場合，明日の天気は今日の天気にのみ左右される(昨日より前の天気は関係ない)ため，昨日以前の天気の情報を利用する必要がなくなる．

マルコフ性について理解できただろうか．
それでは，これまでの知識からマルコフ過程のまとめをしよう．

マルコフ過程のまとめ

『マルコフ過程の概要』の項で確認した通り，マルコフ過程はマルコフ性をもつ確率過程のことをいう．マルコフ性は将来(次の)状態の条件つき確率分布は現在状態のみに依存する性質を指し，確率過程は時間と共に変化する確率変数を指す．

マルコフ過程(マルコフモデル)については理解できただろうか．2つ目の大きな題材である隠れマルコフモデルについて解説する前に，マルコフ過程の分類について確認したい．そうすることで，隠れマルコフモデルがより理解しやすくなるためである．
それでは，マルコフ過程の分類とマルコフ連鎖について解説しよう．

マルコフ過程の分類とマルコフ連鎖について

まずは，マルコフ過程の分類について確認しよう．

マルコフ過程の分類

マルコフ過程は以下の7つに分類される．

◆単純マルコフ過程
現在状態のみから将来状態が決定されるマルコフ過程のこと．単にマルコフ過程と呼ぶ場合は，この単純マルコフ過程を指している場合が多い．

◆N階(N重)マルコフ過程
連続したN個の状態から将来状態が決定されるマルコフ過程のこと．N=1のとき，単純マルコフ過程を指す．また，N個の状態を現在状態と定義しなおすことにより，単純マルコフ過程として表現することも可能である．

◆離散時間マルコフ過程
時刻tが離散的な場合のマルコフ過程のこと．一般的に時刻の集合はT={1,2,3,…}と定義する．

◆連続時間マルコフ過程
離散時間マルコフ過程と違い，時刻tが連続的な場合のマルコフ過程のこと．時刻の集合をT=[0,∞)等と定義する．

◆離散マルコフ過程
マルコフ過程の状態空間が離散集合であるマルコフ過程のこと．つまり，状態が離散的でありマルコフ性が成り立つようなマルコフ過程を指す．

◆連続マルコフ過程
離散マルコフ過程と違い，マルコフ過程の状態空間が連続的であるマルコフ過程のこと．
◆時間的に一様なマルコフ過程
状態の推移確率が時間に依らず一定であるようなマルコフ過程のこと．

では，この分類を元にマルコフ連鎖の概要をwikipediaで確認しよう．

マルコフ連鎖の概要

“マルコフ連鎖（マルコフれんさ、英: Markov chain）とは、確率過程の一種であるマルコフ過程のうち、とりうる状態が離散的（有限または可算）なもの（離散状態マルコフ過程）をいう。また特に、時間が離散的なもの（時刻は添え字で表される）を指すことが多い（他に連続時間マルコフ過程というものもあり、これは時刻が連続である）。

マルコフ連鎖は、未来の挙動が現在の値だけで決定され、過去の挙動と無関係である（マルコフ性）。

各時刻において起こる状態変化（遷移または推移）に関して、マルコフ連鎖は遷移確率が過去の状態によらず、現在の状態のみによる系列である。” ? マルコフ連鎖(wikipedia)
概要にもある通り，マルコフ連鎖とはマルコフ過程のうち状態が離散，かつ時間が離散なものを指す場合が多い．分類では離散時間マルコフ過程，離散マルコフ過程に該当するマルコフ過程がマルコフ連鎖に該当する．

次にマルコフ連鎖の定義について確認する．

マルコフ連鎖の定義

マルコフ連鎖の定義は，マルコフ性の定義とよく似ている．違うのは時刻が離散的であることより，時刻を添え字で表している点である．

ここで，確率変数Xiの取りうる値は連鎖の状態空間と呼ばれる．マルコフ連鎖は有向グラフで表され，グラフの各ノードは確率変数，エッジはノード間の遷移確率を表す．

P
r
(
X
n
+

1

x
|
X

n

x
n
,
…
,
X

1

x
1
,
X

0

x
0

)

P
r
(
X
n
+

1

x
|
X

n

x
n
)
ここで，代表的なマルコフ連鎖である単純マルコフ連鎖とN階マルコフ連鎖について確認しよう．

単純マルコフ連鎖とN階マルコフ連鎖

ここでいう単純とは，将来状態が現在状態のみから決まることを指す．つまり『マルコフ連鎖の定義』の項で紹介した定義式こそ，単純マルコフ連鎖を表す式である．

対してN階とは，将来状態が現在状態を含むN個の状態から決まることを指す．その場合，定義式は以下のようになる．

P
r
(
X
n
+

1

x
|
X

n

x
n
,
…
,
X

1

x
1
,
X

0

x
0

)

P
r
(
X
n
+

1

x
|
X

n

x
n
,
X
n
?

1

x
n
?
1
,
…
,
X
n
?
N
+

1

x
n
?
N
+
1
)

単純マルコフ連鎖について，少し掘り下げて理解していこう．

例として，マルコフ連鎖上で成り立つ天気が以下の状態遷移図で表される場合を考える．ここで，各ノードは天気，エッジはある天気からある天気への遷移確率とする．例えば，以下の図でいえば「晴れ」からそれぞれの天気に遷移する確率は，「晴れ」が50%，「曇り」が約33%，「雨」が約16%となる．

この状態遷移を行列W(Weatherの頭文字)として表現すると以下のようになる．

あるタイミングtでの天気をwtT=(x1,x2,x3)と表現するとしよう．ここで，x1は晴れの確率，x2は曇りの確率，x3は雨の確率とする．上付き文字のTは転置を表しているため，実際のwtは3行1列の行列である．

現在観測できている時刻tの天気が晴れの場合，wtT=(1,0,0)となる．

次の時刻t+1の天気wt+1が知りたいときは，状態遷移行列Wと現在の天気wtをかけ合わせることで求められる．

つまり，wt+1=W・wt=(1/2,1/6,1/6)となるため，次の日が「晴れ」の確率が50%，「曇り」の確率が約16%，「雨」の確率が約16%であるとわかる．

次に，時刻t+2の天気が知りたいときは，状態遷移行列Wと時刻t+1の天気wt+1をかけ合わせればよい．

つまり，wt+2=W・wt+1=W・W・wt=(1/3,2/9,2/9)となる．

ここから，初期状態の天気をw0とすると，ある時刻tの天気はwt+n=Wn・wtで計算できることがわかる．

上記のWnをt→∞として求めると，状態遷移の定常分布を求めることができる．

定常分布とは，無限回遷移した場合にそれぞれの状態にたどり着く確率のことを指す．

ここでは計算を割愛するが，今回の例で定常分布を求めると，無限回遷移したときにそれぞれの天気になる確率がわかる．このように，単純マルコフ連鎖の定常分布は状態遷移を行列に表すことで容易に計算することが可能となる．

単純マルコフ連鎖については理解いただけただろうか．それでは，本題の隠れマルコフモデルについて解説しよう．

隠れマルコフモデルとは

名前からわかる通り，マルコフモデルとは違い隠れマルコフモデルは何かが隠れているのだろうと推測できる．では，何が隠れているのだろうか？

ではいつも通り，まずは隠れマルコフモデルの定義を確認しよう．

隠れマルコフモデル(Hidden Markov Model;HMM)の概要

“隠れマルコフモデル（かくれマルコフモデル、英語: Hidden Markov Model）は確率モデルのひとつであり、観測されない（隠れた）状態をもつマルコフ過程である。” ? 隠れマルコフモデル(wikipedia)

単純マルコフ連鎖では状態が直接観測可能であったため，状態の遷移確率のみをパラメータとしていた．

一方，隠れマルコフモデルにおいては状態が直接観測されず，出力のみが観測される．

ここで確認しておきたいのは，「状態」と「出力」の違いである．先ほどまで用いていた天気の例では，「状態(=晴れ，曇り，雨)」がそのまま「出力」となっているため，隠れマルコフモデルの説明には適さない．

ここでは，新たに例を挙げて，隠れマルコフモデルについて確認しよう．

あるところに散歩が好きな一人暮らしのマルコフ少年と，マルコフ少年の母のマルコフ母がおり，2人が住む場所はとても遠いと仮定する．

マルコフ少年は自分の住んでいる街の天気を元に，散歩をどうするか(「長距離」，「短距離」，「散歩なし」)を決めており，その結果のみを毎日マルコフ母に電話している．

なお，マルコフ少年が散歩する確率は，マルコフ少年の住む街の天気によって以下のように決定する．

また，マルコフ少年の住む街の天気は以下のように状態遷移するとしよう．

このとき，マルコフ母はマルコフ少年が住む街の天気(状態)を知ることができないため，隠れた状態となっている．しかし，マルコフ少年の散歩の結果(出力)は知ることができる．

このようなモデルのことを，隠れマルコフモデルと呼ぶ．

隠れマルコフモデルでは，パラメータとして遷移確率と出力確率の2種類をとる．

遷移確率とは，状態から状態に遷移する確率を表し，上記の例でいえば天気の状態遷移確率がこれに当たる．出力確率とは，ある状態で出力が得られる確率を表し，上記の例でいえば「晴れの時に長距離散歩する確率」や「雨の時に散歩しない確率」がこれに当たる．
隠れマルコフモデルから可能な推定

隠れマルコフモデルから推定可能なものとその際に使用するアルゴリズムを紹介する．

「状態」の推定

最も想像しやすいのは，隠れマルコフモデルで隠されている「状態」の推定であろう．今回の例でいえば，マルコフ少年が住む街の天気の状態遷移確率，天気と散歩の関係(確率)，マルコフ少年が報告した散歩の結果から，マルコフ母がマルコフ少年の住む街の天気を推測する．

その際にはビタビアルゴリズムという動的計画法の一種であるアルゴリズムが使用され，取りうる状態のパターンから最も尤もらしいパターンを選び出すことができる．

パラメータ(遷移確率と出力確率)の推定

隠れマルコフモデルでは，「出力」から遷移確率と出力確率を推定することも可能である．その際にはバウム＝ウェルチアルゴリズムというフォワードバックワードアルゴリズムの一種であるアルゴリズムが採用され，主に音声や遺伝子などの系列データを解析するために使用される．

最後に，マルコフモデルと隠れマルコフモデルの違いについて，応用例をもとに確認しよう．

マルコフモデルと隠れマルコフモデルの違い(応用例)

マルコフモデルの応用例

マルコフモデルは，天気予報や証券の取引の場面に応用されている．天気予報の分野では，例に挙げた通り状態遷移行列を用いてn日後の天気wt+nが推測できることを確認した．また，定常分布を計算して求めることで，限りなく未来の天気について，それぞれの天気になる確率を求めることができる．

また，Googleで使用されている，ウェブページの重要度を決定するアルゴリズムであるPageRankでもマルコフモデルが使用されている．これも天気と同様にユーザが各ページに遷移する確率から定常分布を求めることで，最後にユーザが開いているページを推測し，重要度を決めている．

このように，マルコフモデルでは「状態」と「出力」が判明しているため，状態遷移行列から無限遷移後の存在確率を求めることが可能である．

隠れマルコフモデルの応用例

マルコフモデルと隠れマルコフモデルの違いといえば，「状態」が隠れているかいないかであろう．

では，「状態」が隠れていることのメリットは何なのだろうか．

実際には，「状態」が隠れていることではなく状態が推測できるというメリットの方が大きい．

隠れマルコフモデルを使用する分野の一つに音声認識分野がある．

音声信号に対して隠れマルコフモデルを当てはめ，音声認識や音声合成に応用されている．

例えば，音声認識では与えられた音声から任意の単語列を推測する際に隠れマルコフモデルが使用されている．それにより，個人差が生まれやすい「発声法」等の音声パターンの変動を確率モデルで捉えることができ，数学的，統計的に処理することが可能となる．

参考
【書籍】
・金 明哲:テキストデータの統計科学入門(2009)．
・北 研二:言語と計算ー４　確率的言語モデル(1999)．

【Webサイト】
・マルコフ過程 ? wikipedia
・確率過程 ? wikipedia
・確率分布 ? wikipedia
・条件付き確率 ? wikipedia
・マルコフ性 ? wikipedia
・隠れマルコフモデル ? wikipedia
・マルコフ連鎖の話
・マルコフ連鎖モンテカルロ法入門-１
・隠れマルコフモデルの大雑把な解説
・隠れマルコフモデルによる音声認識と音声合成

Category: 技術解説 自然言語処理 』