A giant, superfast AI chip is being used to find better cancer drugs

※ オレが、ほぼ毎日チェックして、参考にしているサイトがある。日頃の感謝を込めて、ここに紹介しておく…。

『北の国から猫と二人で想う事 livedoor版』(nappi10さん)
http://blog.livedoor.jp/nappi11/

『兵頭二十八の放送形式 ; 兵頭二十八ファンサイト 半公式』(兵頭二十八さん。「管理人さん」は、別にいるようだ…)
https://st2019.site/?cat=2

『東京の郊外より・・・:SSブログ』(マングースさん)
https://holyland.blog.ss-blog.jp/ 

上記タイトルの記事は、兵頭二十八氏のサイトで紹介されていたもので、それを参考に飛んで、元記事を探したものだ…。

前に、「巨大AIチップ」開発成功の投稿を、上げたことがあった…。(『[FT]逆転の発想が生んだ世界最大のAI用チップ』  https://http476386114.com/2019/08/20/ft%e9%80%86%e8%bb%a2%e3%81%ae%e7%99%ba%e6%83%b3%e3%81%8c%e7%94%9f%e3%82%93%e3%81%a0%e4%b8%96%e7%95%8c%e6%9c%80%e5%a4%a7%e3%81%aeai%e7%94%a8%e3%83%81%e3%83%83%e3%83%97/  )

この記事は、その続報にあたるもので、そのチップを使用して、ハード(装置)を開発した…、と言う話しだ。英文記事と、そのグーグル翻訳文を載せておく…。

https://www.technologyreview.com/s/614740/ai-chip-cerebras-argonne-cancer-drug-development/

『A new generation of specialized hardware could make drug development and material discovery orders of magnitude faster.
by Karen Hao
Nov 20, 2019

At Argonne National Laboratory, roughly 30 miles from downtown Chicago, scientists try to understand the origin and evolution of the universe, create longer-lasting batteries, and develop precision cancer drugs.

All these different problems have one thing in common: they are tough because of their sheer scale. In drug discovery, it’s estimated that there could be more potential drug-like molecules than there are atoms in the solar system. Searching such a vast space of possibilities within human time scales requires powerful and fast computation. Until recently, that was unavailable, making the task pretty much unfathomable.

But in the last few years, AI has changed the game. Deep-learning algorithms excel at quickly finding patterns in reams of data, which has sped up key processes in scientific discovery. Now, along with these software improvements, a hardware revolution is also on the horizon.

Yesterday Argonne announced that it has begun to test a new computer from the startup Cerebras that promises to accelerate the training of deep-learning algorithms by orders of magnitude. The computer, which houses the world’s largest chip, is part of a new generation of specialized AI hardware that is only now being put to use.

“We’re interested in accelerating the AI applications that we have for scientific problems,” says Rick Stevens, Argonne’s associate lab director for computing, environment, and life sciences. “We have huge amounts of data and big models, and we’re interested in pushing their performance.”

Currently, the most common chips used in deep learning are known as graphical processing units, or GPUs. GPUs are great parallel processors. Before their adoption by the AI world, they were widely used for games and graphic production. By coincidence, the same characteristics that allow them to quickly render pixels are also the ones that make them the preferred choice for deep learning.

But fundamentally, GPUs are general purpose; while they have successfully powered this decade’s AI revolution, their designs are not optimized for the task. These inefficiencies cap the speed at which the chips can run deep-learning algorithms and cause them to soak up huge amounts of energy in the process.

In response, companies have raced to design new chip architectures that are specially suited for AI. Done well, such chips have the potential to train deep-learning models up to 1,000 times faster than GPUs, with far less energy. Cerebras is among the long list of companies that have since jumped to capitalize on the opportunity. Others include startups like Graphcore, SambaNova, and Groq, and incumbents like Intel and Nvidia.

A successful new AI chip will have to meet several criteria, says Stevens. At a minimum, it has to be 10 or 100 times faster than the general-purpose processors when working with the lab’s AI models. Many of the specialized chips are optimized for commercial deep-learning applications, like computer vision and language, but may not perform as well when handling the kinds of data common in scientific research. “We have a lot of higher-dimensional data sets,” Stevens says—sets that weave together massive disparate data sources and are far more complex to process than a two-dimensional photo.

Initially, Argonne has been testing the computer on its cancer drug research. The goal is to develop a deep-learning model that can predict how a tumor might respond to a drug or combination of drugs. The model can then be used in one of two ways: to develop new drug candidates that could have desired effects on a specific tumor, or to predict the effects of a single drug candidate on many different types of tumors.

Stevens expects Cerebras’s system to dramatically speed up both development and deployment of the cancer drug model, which could involve training the model hundreds of thousands of times and then running it billions more times to make predictions on every drug candidate. He also hopes it will boost the lab’s research in other topics, such as battery materials and traumatic brain injury. The former work would involve developing an AI model for predicting the properties of millions of molecular combinations to find alternatives to lithium-ion chemistry. The latter would involve developing a model to predict the best treatment options. It’s a surprisingly hard task because it requires processing so many types of data—brain images, biomarkers, text—very quickly.

Ultimately Stevens is excited by the potential that the combination of AI software and hardware advancements will bring to scientific exploration. “It’s going to change dramatically how scientific simulation happens,” he says.

The chip must also be reliable and easy to use. “We’ve got thousands of people doing deep learning at the lab, and not everybody’s a ninja programmer,” says Stevens. “Can people use the chip without having to spend time learning something new on the coding side?”

Thus far, Cerebras’s computer has checked all the boxes. Thanks to its chip size—it is larger than an iPad and has 1.2 trillion transistors for making calculations—it isn’t necessary to hook multiple smaller processors together, which can slow down model training. In testing, it has already shrunk the training time of models from weeks to hours. “We want to be able to train these models fast enough so the scientist that’s doing the training still remembers what the question was when they started,” says Stevens.』

『(グーグル翻訳による訳文)
巨大な超高速AIチップが、より良い抗がん剤を見つけるために使用されています
新世代の特殊なハードウェアにより、医薬品開発と物質発見のオーダーを大幅に高速化できます。
よるカレン・ハオ
2019年11月20日

シカゴのダウンタウンから約30マイルのアルゴンヌ国立研究所では、科学者が宇宙の起源と進化を理解し、長持ちするバッテリーを作成し、精密ながん治療薬を開発しようとします。

これらのさまざまな問題には、共通点が1つあります。それらは、その規模の大きさのために厳しい問題です。創薬では、太陽系にある原子よりも潜在的な薬物のような分子が存在すると推定されています。人間の時間スケール内でこのような広大な可能性の空間を検索するには、強力で高速な計算が必要です。最近まで、それは利用できず、タスクをほとんど理解できませんでした。

しかし、ここ数年で、AIはゲームを変えました。深層学習アルゴリズムは、一連のデータのパターンをすばやく見つけることに優れており、科学的発見の主要なプロセスを高速化しました。現在、これらのソフトウェアの改善に加えて、ハードウェア革命も視野に入れています。

昨日、Argonne は、スタートアップCerebrasの新しいコンピューターのテストを開始し、ディープラーニングアルゴリズムのトレーニングを桁違いに加速することを約束したと発表しました。世界最大のchi pを収容するコンピューターは、現在使用されている新世代の専用AIハードウェアの一部です。

「科学的問題のために持っているAIアプリケーションを加速することに関心があります」と、アルゴンヌのコンピューティング、環境、ライフサイエンスのアソシエイトラボディレクターであるリックスティーブンスは言います。「膨大な量のデータとビッグモデルがあり、それらのパフォーマンスを向上させることに関心があります。」

現在、ディープラーニングで使用される最も一般的なチップは、グラフィカル処理ユニット(GPU)として知られています。GPUは優れた並列プロセッサです。AIの世界で採用される前は、ゲームやグラフィック制作で広く使用されていました。偶然にも、ピクセルをすばやくレンダリングできるのと同じ特性が、ディープラーニングに適した選択肢となっています。

しかし基本的に、GPUは汎用です。彼らはこの10年間のAI革命に成功しましたが、デザインはタスクに最適化されていません。これらの非効率性は、チップが深層学習アルゴリズムを実行できる速度を制限し、プロセスで膨大なエネルギーを吸収させる原因となります。

これに応えて、企業は AIに特に適した新しいチップアーキテクチャを設計するために競い合っています。うまくいけば、そのようなチップは、ディープラーニングモデルをはるかに少ないエネルギーでGPUよりも1,000倍高速にトレーニングできる可能性があります。Cerebrasは、このチャンスを活かすために飛び上がった企業の長いリストの1つです。その他には、Graphcore、SambaNova、Groqなどのスタートアップや、IntelやNvidiaなどの現職が含まれます。

新しいAIチップを成功させるには、いくつかの基準を満たす必要があります、とスティーブンスは言います。少なくとも、ラボのAIモデルを使用する場合、汎用プロセッサよりも10倍または100倍高速でなければなりません。特殊なチップの多くは、コンピュータービジョンや言語などの商用の深層学習アプリケーション向けに最適化されていますが、科学研究で一般的な種類のデータを処理する場合はパフォーマンスが低下する場合があります。「高次元のデータセットがたくさんあります」とStevens氏は言います。大規模で異種のデータソースを組み合わせたセットで、2次元の写真よりもはるかに複雑です。

また、チップは信頼性が高く使いやすいものでなければなりません。「何千人もの人々がラボでディープラーニングを行っていますが、誰もが忍者プログラマーではありません」とスティーブンスは言います。「コーディング側で何か新しいことを学ぶ時間を費やすことなく、人々はチップを使用できますか?」

これまで、Cerebrasのコンピューターはすべてのボックスをチェックしました。iPadよりも大きく、計算に1.2兆個のトランジスタを備えたチップサイズのおかげで、複数の小さなプロセッサーを一緒に接続する必要がなく、モデルのトレーニングが遅くなる可能性があります。テストでは、モデルのトレーニング時間が数週間から数時間に短縮されました。「これらのモデルを十分な速さでトレーニングできるようにしたいので、トレーニングを行っている科学者は、開始時の質問を覚えています」とStevens氏は言います。

当初、アルゴンヌは抗がん剤の研究でコンピューターをテストしていました。目標は、腫瘍が薬物または薬物の組み合わせにどのように反応するかを予測できる深層学習モデルを開発することです。このモデルは、2つの方法のいずれかで使用できます。特定の腫瘍に望ましい効果をもたらす可能性のある新薬候補を開発するか、さまざまな種類の腫瘍に対する単一の薬候補の効果を予測します。

スティーブンスは、Cerebrasのシステムが抗がん剤モデルの開発と展開の両方を劇的にスピードアップすることを期待しています。これには、モデルを数十万回トレーニングし、さらに数十億回実行して、すべての候補薬を予測することが含まれます。彼はまた、バッテリー材料や外傷性脳損傷など、他のトピックに関する研究室の研究を後押しすることを望んでいます。前者の研究では、数百万の分子の組み合わせの特性を予測して、リチウムイオン化学の代替を見つけるためのAIモデルを開発する必要がありました。後者には、最適な治療オプションを予測するモデルの開発が含まれます。非常に多くの種類のデータ(脳の画像、バイオマーカー、テキスト)を非常に迅速に処理する必要があるため、これは驚くほど難しいタスクです。

最終的に、スティーブンスは、AIソフトウェアとハ​​ードウェアの進歩の組み合わせが科学的調査にもたらす可能性に興奮しています。「科学的なシミュレーションがどのように起こるかを劇的に変えるでしょう」と彼は言います。』

※ 「AI兵器」とか、「(攻撃用)AI無人機」などと言う物騒なものでなく、こういう人の幸福に寄与することに役立てて欲しいものだ…。