# AI x Crypto: ゼロからピークまで## はじめに人工知能業界の最近の発展は、一部の人々によって第四次産業革命と見なされています。大規模モデルの出現は、さまざまな業界の効率を著しく向上させており、ある研究によると、GPTはアメリカの労働効率を約20%向上させたとされています。同時に、大規模モデルがもたらす一般化能力は、新しいソフトウェア設計のパラダイムと見なされています。過去のソフトウェア設計は正確なコードでしたが、現在のソフトウェア設計はより一般化された大規模モデルフレームワークをソフトウェアに組み込むもので、これらのソフトウェアはより良いパフォーマンスを持ち、より広範なモードの入力と出力をサポートすることができます。深層学習技術は確かにAI業界に第四次の繁栄をもたらしましたが、この流れは暗号通貨業界にも広がっています。本報告では、AI業界の発展の歴史、技術の分類、そして深層学習技術の発明が業界に与えた影響について詳しく探討します。その後、深層学習におけるGPU、クラウドコンピューティング、データソース、エッジデバイスなどの産業チェーンの上下流、およびその発展状況とトレンドを深く分析します。その後、本質的にCryptoとAI業界の関係を探討し、Crypto関連のAI産業チェーンの構造を整理します。! [新人科学丨AI×暗号:ゼロからピークまで](https://img-cdn.gateio.im/social/moments-7e025deb1fddcd5fa716b6f144701074)## AI業界の歴史 AI産業は1950年代に始まり、人工知能のビジョンを実現するために、学術界と産業界は異なる時代と異なる学問的背景の下で、人工知能を実現するための多くの流派を発展させてきました。現代の人工知能技術で主に使用されているのは「機械学習」という用語であり、この技術の理念は、機械がデータに基づいてタスクを繰り返し改善することによってシステムの性能を向上させることです。主なステップは、データをアルゴリズムに送信し、このデータを使用してモデルを訓練し、モデルをテストして展開し、モデルを使用して自動化された予測タスクを完了することです。現在、機械学習には三つの主要な流派があり、それぞれ結合主義、記号主義、行動主義であり、人間の神経系、思考、行動を模倣しています。現在、神経ネットワークを代表とするコネクショニズムが優位を占めています(、これはディープラーニングとも呼ばれています)。その主な理由は、このアーキテクチャが入力層と出力層を持ち、複数の隠れ層を持つためです。層の数と神経元(のパラメータ)の数が十分に多くなると、複雑な一般的なタスクに適合するための十分な機会があります。データを入力することで、神経元のパラメータを調整し続けることができ、最終的に多くのデータを経て、その神経元は最適な状態(のパラメータ)に達します。これが「大力出奇跡」と言われる所以であり、これが「深さ」という言葉の由来でもあります—十分な層数と神経元があるためです。例えば、簡単に理解するために関数を構築しました。この関数では、X=2のときY=3; X=3のときY=5となります。この関数がすべてのXに対応するためには、関数の次数とそのパラメータを追加し続ける必要があります。例えば、現在この条件を満たす関数をY = 2X -1と構築できますが、もしデータにX=2、Y=11がある場合は、これら三つのデータポイントに適した関数を再構築する必要があります。GPUを使ってブルートフォースで解決した結果、Y = X2 -3X +5が比較的適していることがわかりましたが、データと完全に一致する必要はなく、バランスを守り、大まかに似た出力であれば良いのです。この中でX2、X、X0は異なるニューロンを表し、1、-3、5はそのパラメータです。この時、大量のデータをニューラルネットワークに入力すると、ニューロンや反復パラメータを増やして新しいデータに適合させることができます。これにより、すべてのデータに適合させることができます。神経ネットワークに基づく深層学習技術も、いくつかの技術的な反復と進化を経てきました。上の図に示されている最初の神経ネットワーク、フィードフォワード神経ネットワーク、RNN、CNN、GANは、最終的に現代の大規模モデルであるGPTなどが使用するTransformer技術へと進化しました。Transformer技術は神経ネットワークの一つの進化方向に過ぎず、変換器(Transformer)を追加して、すべてのモダリティ(である音声、映像、画像など)のデータを対応する数値にエンコードして表現します。そして、それを神経ネットワークに入力することで、神経ネットワークはあらゆる種類のデータをフィットさせることができ、すなわちマルチモーダルを実現します。! [新参者科学人気丨AI×暗号:ゼロからピークまで](https://img-cdn.gateio.im/social/moments-c50ee5a87373c6cd6c4dc63adc2cf47c)AIの発展は3回の技術の波を経てきました。第一次の波は20世紀の60年代で、AI技術が提案されてから10年後に訪れました。この波は、記号主義技術の発展によって引き起こされ、一般的な自然言語処理や人間とコンピュータの対話の問題を解決しました。同時期に、専門家システムが誕生しました。これは、アメリカのNASAの指導の下で大学が完成させたDENRAL専門家システムであり、このシステムは非常に強力な化学知識を持ち、問題を通じて推論を行い、化学専門家と同じような答えを生成します。この化学専門家システムは、化学知識ベースと推論システムの結合として見ることができます。専門家システムの後、1990年代にイスラエル系アメリカの科学者であり哲学者がベイズネットワークを提案しました。このネットワークは信念ネットワークとも呼ばれています。同時期に、ブルックスは行動に基づくロボティクスを提案し、行動主義の誕生を示しました。1997年、テクノロジー企業のディープブルーが国際チェスチャンピオンに3.5対2.5で勝利し、この勝利は人工知能の重要なマイルストーンと見なされ、AI技術は第二次発展の高潮を迎えました。第三回AI技術の波は2006年に発生しました。深層学習の三巨頭が深層学習の概念を提案しました。それは人工神経ネットワークをアーキテクチャとして使用し、データの表現学習を行うアルゴリズムです。その後、深層学習のアルゴリズムは徐々に進化し、RNN、GANからTransformerやStable Diffusionへと至りました。これら二つのアルゴリズムがこの第三回技術の波を形成し、これは連結主義の全盛期でもありました。多くの象徴的な出来事は、ディープラーニング技術の探求と進化とともに徐々に浮上しています。これには次のものが含まれます：* 2011年、あるテクノロジー会社のWatsonが『危険な境界』(Jeopardy)の回答テスト番組で人間に勝利し、チャンピオンになりました。* 2014年、GoodfellowはGAN(生成的対抗ネットワーク、Generative Adversarial Network)を提案しました。これは2つの神経ネットワークが互いに競い合うことで学習し、リアルな写真を生成できるものです。同時にGoodfellowは「Deep Learning」という本を書き、これは深層学習分野の重要な入門書の1つとして知られています。* 2015年、ヒントンらは『ネイチャー』誌で深層学習アルゴリズムを提案し、この深層学習手法の提案は、学術界や産業界において直ちに大きな反響を呼び起こしました。* 2015年、ある人工知能会社が設立され、多くの著名な投資家が共同で10億ドルの投資を発表しました。* 2016年、深層学習技術に基づくAlphaGoが囲碁世界チャンピオンであるプロ九段棋士と囲碁人機対戦を行い、4対1の総合スコアで勝利した。* 2017年、中国香港のロボット技術会社が開発した人型ロボットソフィアは、歴史上初めて市民権を得たロボットとされており、豊かな表情と人間の言語理解能力を備えています。* 2017年、人工知能分野で豊富な人材と技術の蓄積を持つあるテクノロジー企業が論文「Attention is all you need」を発表し、Transformerアルゴリズムを提案しました。大規模言語モデルが登場し始めました。※2018年、人工知能企業が、当時最大級の言語モデルであったTransformerアルゴリズム上に構築されたGPT(Generative Pre-trained Transformer)をリリースしました。* 2018年、あるテクノロジー企業のチームが深層学習に基づくAlphaGoを発表し、タンパク質の構造予測を行うことができ、人工知能分野の大きな進歩の象徴として見なされました。* 2019年、ある人工知能会社がGPT-2を発表しました。このモデルは15億のパラメータを持っています。* 2020年、ある人工知能会社が開発したGPT-3は、1,750億のパラメータを持ち、以前のバージョンGPT-2の100倍の規模です。このモデルは570GBのテキストを使用して訓練され、複数のNLP(自然言語処理)タスク(において、質問応答、翻訳、記事作成)で最先端の性能を発揮します。* 2021年、ある人工知能会社がGPT-4を発表しました。このモデルは1.76兆個のパラメータを持っており、GPT-3の10倍です。* 2023年1月にGPT-4モデルに基づくChatGPTアプリケーションがリリースされ、3月にはChatGPTが1億ユーザーに達し、歴史上最も早く1億ユーザーに達したアプリケーションとなった。※2024年、人工知能企業がGPT-4 omniを発売します。! 【新人科学丨AI×暗号:ゼロからピークまで](https://img-cdn.gateio.im/social/moments-0c9bdea33a39a2c07d1f06760ed7e804)## ディープラーニング産業チェーン現在の大規模モデル言語は、すべて神経ネットワークに基づくディープラーニング手法を使用しています。GPTを先頭にした大規模モデルは人工知能の熱潮を生み出し、多くのプレイヤーがこの分野に参入しました。また、市場がデータや計算力に対する需要が急増していることも分かりました。したがって、報告書のこの部分では、主にディープラーニングアルゴリズムの産業チェーンを探ります。ディープラーニングアルゴリズムが主導するAI業界において、その上下流はどのように構成されているのか、また上下流の現状と需給関係、将来の発展はどのようになるのかを探ります。まず明確にする必要があるのは、Transformer技術に基づくGPTを中心としたLLMs(の大規模モデル)のトレーニングは、合計で三つのステップに分かれているということです。トレーニングの前に、Transformerに基づいているため、コンバーターはテキスト入力を数値に変換する必要があります。このプロセスは「トークン化」と呼ばれ、その後、これらの数値はトークンと呼ばれます。一般的な経験則として、英単語または文字は大まかに1つのトークンと見なされ、各漢字は大まかに2つのトークンと見なすことができます。これもまた、GPTの料金計算に使用される基本単位です。第一歩、事前トレーニング。入力層に十分なデータ対を与えることによって、報告の第一部で例示された(X,Y)のように、モデルの各ニューロンの最適なパラメータを見つける。この時、大量のデータが必要であり、このプロセスは最も計算能力を消費するプロセスでもある。なぜなら、ニューロンがさまざまなパラメータを試すために繰り返し反復する必要があるからである。一批のデータ対のトレーニングが完了した後、一般的には同じデータのバッチを使用して再トレーニングし、パラメータを反復する。第2ステップ、ファインチューニング。ファインチューニングは、少量だが非常に質の高いデータを与えてモデルを訓練することです。このような変更により、モデルの出力の質が向上します。事前訓練には大量のデータが必要ですが、多くのデータには誤りや低品質のものが含まれている可能性があります。ファインチューニングのステップでは、高品質のデータを通じてモデルの品質を向上させることができます。第三のステップ、強化学習。まず全く新しいモデルを構築します。このモデルを「報酬モデル」と呼びます。このモデルの目的は非常にシンプルで、出力結果を並べ替えることです。そのため、このモデルの実装は比較的簡単で、ビジネスシーンがかなり特化しているからです。その後、このモデルを使用して私たちの大きなモデルの出力が高品質かどうかを判断します。これにより、報酬モデルを用いて大きなモデルのパラメータを自動的に反復させることができます。(しかし、時には人間がモデルの出力品質を評価する必要もあります。)要するに、大規模モデルのトレーニングプロセスにおいて、事前学習はデータの量に非常に高い要求を持ち、そのために必要なGPU計算力も最も多くなります。一方、ファインチューニングにはパラメータを改善するためにより高品質なデータが必要です。強化学習は報酬モデルを通じてパラメータを反復的に最適化し、より高品質な結果を出力することができます。トレーニングの過程では、パラメータが多ければ多いほど、その一般化能力の限界が高くなります。例えば、関数の例でY = aX + bを考えると、実際には2つのニューロンXとX0があります。したがって、パラメータがどのように変化しても、フィッティングできるデータは非常に限られています。なぜなら、それ自体が直線だからです。ニューロンが増えれば、より多くのパラメータを反復でき、より多くのデータをフィッティングできるようになります。これが大規模モデルが奇跡を生む理由であり、一般的に大規模モデルと呼ばれる理由でもあります。本質的には、大量のニューロンとパラメータ、大量のデータが必要であり、同時に大量の計算能力も必要です。したがって、大規模モデルの性能に影響を与える主な要因は、パラメータの数、データの量と質、計算能力の3つです。この3つは共同で大規模モデルの結果の質と一般化能力に影響を与えます。パラメータの数をp、データの量をn(トークンの数で計算すると)、一般的な経験則を用いて必要な計算量を計算でき、これにより必要な計算能力の大まかな購入状況や訓練時間を予測できます。計算能力は一般的にFlopsを基本単位として表され、1回の浮動小数点演算を示します。浮動小数点演算とは、非整数の数値の加減乗除の総称であり、例えば2.5+3.557のようなものです。浮動小数点は小数点を持つことができることを示し、FP16は小数をサポートする精度を表します。FP32は一般的により一般的です。
AIと暗号資産の融合：発展の歴史から産業チェーンの全景解析まで
AI x Crypto: ゼロからピークまで
はじめに
人工知能業界の最近の発展は、一部の人々によって第四次産業革命と見なされています。大規模モデルの出現は、さまざまな業界の効率を著しく向上させており、ある研究によると、GPTはアメリカの労働効率を約20%向上させたとされています。同時に、大規模モデルがもたらす一般化能力は、新しいソフトウェア設計のパラダイムと見なされています。過去のソフトウェア設計は正確なコードでしたが、現在のソフトウェア設計はより一般化された大規模モデルフレームワークをソフトウェアに組み込むもので、これらのソフトウェアはより良いパフォーマンスを持ち、より広範なモードの入力と出力をサポートすることができます。深層学習技術は確かにAI業界に第四次の繁栄をもたらしましたが、この流れは暗号通貨業界にも広がっています。
本報告では、AI業界の発展の歴史、技術の分類、そして深層学習技術の発明が業界に与えた影響について詳しく探討します。その後、深層学習におけるGPU、クラウドコンピューティング、データソース、エッジデバイスなどの産業チェーンの上下流、およびその発展状況とトレンドを深く分析します。その後、本質的にCryptoとAI業界の関係を探討し、Crypto関連のAI産業チェーンの構造を整理します。
! 新人科学丨AI×暗号:ゼロからピークまで
AI業界の歴史
AI産業は1950年代に始まり、人工知能のビジョンを実現するために、学術界と産業界は異なる時代と異なる学問的背景の下で、人工知能を実現するための多くの流派を発展させてきました。
現代の人工知能技術で主に使用されているのは「機械学習」という用語であり、この技術の理念は、機械がデータに基づいてタスクを繰り返し改善することによってシステムの性能を向上させることです。主なステップは、データをアルゴリズムに送信し、このデータを使用してモデルを訓練し、モデルをテストして展開し、モデルを使用して自動化された予測タスクを完了することです。
現在、機械学習には三つの主要な流派があり、それぞれ結合主義、記号主義、行動主義であり、人間の神経系、思考、行動を模倣しています。
現在、神経ネットワークを代表とするコネクショニズムが優位を占めています(、これはディープラーニングとも呼ばれています)。その主な理由は、このアーキテクチャが入力層と出力層を持ち、複数の隠れ層を持つためです。層の数と神経元(のパラメータ)の数が十分に多くなると、複雑な一般的なタスクに適合するための十分な機会があります。データを入力することで、神経元のパラメータを調整し続けることができ、最終的に多くのデータを経て、その神経元は最適な状態(のパラメータ)に達します。これが「大力出奇跡」と言われる所以であり、これが「深さ」という言葉の由来でもあります—十分な層数と神経元があるためです。
例えば、簡単に理解するために関数を構築しました。この関数では、X=2のときY=3; X=3のときY=5となります。この関数がすべてのXに対応するためには、関数の次数とそのパラメータを追加し続ける必要があります。例えば、現在この条件を満たす関数をY = 2X -1と構築できますが、もしデータにX=2、Y=11がある場合は、これら三つのデータポイントに適した関数を再構築する必要があります。GPUを使ってブルートフォースで解決した結果、Y = X2 -3X +5が比較的適していることがわかりましたが、データと完全に一致する必要はなく、バランスを守り、大まかに似た出力であれば良いのです。この中でX2、X、X0は異なるニューロンを表し、1、-3、5はそのパラメータです。
この時、大量のデータをニューラルネットワークに入力すると、ニューロンや反復パラメータを増やして新しいデータに適合させることができます。これにより、すべてのデータに適合させることができます。
神経ネットワークに基づく深層学習技術も、いくつかの技術的な反復と進化を経てきました。上の図に示されている最初の神経ネットワーク、フィードフォワード神経ネットワーク、RNN、CNN、GANは、最終的に現代の大規模モデルであるGPTなどが使用するTransformer技術へと進化しました。Transformer技術は神経ネットワークの一つの進化方向に過ぎず、変換器(Transformer)を追加して、すべてのモダリティ(である音声、映像、画像など)のデータを対応する数値にエンコードして表現します。そして、それを神経ネットワークに入力することで、神経ネットワークはあらゆる種類のデータをフィットさせることができ、すなわちマルチモーダルを実現します。
! 新参者科学人気丨AI×暗号:ゼロからピークまで
AIの発展は3回の技術の波を経てきました。第一次の波は20世紀の60年代で、AI技術が提案されてから10年後に訪れました。この波は、記号主義技術の発展によって引き起こされ、一般的な自然言語処理や人間とコンピュータの対話の問題を解決しました。同時期に、専門家システムが誕生しました。これは、アメリカのNASAの指導の下で大学が完成させたDENRAL専門家システムであり、このシステムは非常に強力な化学知識を持ち、問題を通じて推論を行い、化学専門家と同じような答えを生成します。この化学専門家システムは、化学知識ベースと推論システムの結合として見ることができます。
専門家システムの後、1990年代にイスラエル系アメリカの科学者であり哲学者がベイズネットワークを提案しました。このネットワークは信念ネットワークとも呼ばれています。同時期に、ブルックスは行動に基づくロボティクスを提案し、行動主義の誕生を示しました。
1997年、テクノロジー企業のディープブルーが国際チェスチャンピオンに3.5対2.5で勝利し、この勝利は人工知能の重要なマイルストーンと見なされ、AI技術は第二次発展の高潮を迎えました。
第三回AI技術の波は2006年に発生しました。深層学習の三巨頭が深層学習の概念を提案しました。それは人工神経ネットワークをアーキテクチャとして使用し、データの表現学習を行うアルゴリズムです。その後、深層学習のアルゴリズムは徐々に進化し、RNN、GANからTransformerやStable Diffusionへと至りました。これら二つのアルゴリズムがこの第三回技術の波を形成し、これは連結主義の全盛期でもありました。
多くの象徴的な出来事は、ディープラーニング技術の探求と進化とともに徐々に浮上しています。これには次のものが含まれます：
2011年、あるテクノロジー会社のWatsonが『危険な境界』(Jeopardy)の回答テスト番組で人間に勝利し、チャンピオンになりました。
2014年、GoodfellowはGAN(生成的対抗ネットワーク、Generative Adversarial Network)を提案しました。これは2つの神経ネットワークが互いに競い合うことで学習し、リアルな写真を生成できるものです。同時にGoodfellowは「Deep Learning」という本を書き、これは深層学習分野の重要な入門書の1つとして知られています。
2015年、ヒントンらは『ネイチャー』誌で深層学習アルゴリズムを提案し、この深層学習手法の提案は、学術界や産業界において直ちに大きな反響を呼び起こしました。
2015年、ある人工知能会社が設立され、多くの著名な投資家が共同で10億ドルの投資を発表しました。
2016年、深層学習技術に基づくAlphaGoが囲碁世界チャンピオンであるプロ九段棋士と囲碁人機対戦を行い、4対1の総合スコアで勝利した。
2017年、中国香港のロボット技術会社が開発した人型ロボットソフィアは、歴史上初めて市民権を得たロボットとされており、豊かな表情と人間の言語理解能力を備えています。
2017年、人工知能分野で豊富な人材と技術の蓄積を持つあるテクノロジー企業が論文「Attention is all you need」を発表し、Transformerアルゴリズムを提案しました。大規模言語モデルが登場し始めました。
※2018年、人工知能企業が、当時最大級の言語モデルであったTransformerアルゴリズム上に構築されたGPT(Generative Pre-trained Transformer)をリリースしました。
2018年、あるテクノロジー企業のチームが深層学習に基づくAlphaGoを発表し、タンパク質の構造予測を行うことができ、人工知能分野の大きな進歩の象徴として見なされました。
2019年、ある人工知能会社がGPT-2を発表しました。このモデルは15億のパラメータを持っています。
2020年、ある人工知能会社が開発したGPT-3は、1,750億のパラメータを持ち、以前のバージョンGPT-2の100倍の規模です。このモデルは570GBのテキストを使用して訓練され、複数のNLP(自然言語処理)タスク(において、質問応答、翻訳、記事作成)で最先端の性能を発揮します。
2021年、ある人工知能会社がGPT-4を発表しました。このモデルは1.76兆個のパラメータを持っており、GPT-3の10倍です。
2023年1月にGPT-4モデルに基づくChatGPTアプリケーションがリリースされ、3月にはChatGPTが1億ユーザーに達し、歴史上最も早く1億ユーザーに達したアプリケーションとなった。
※2024年、人工知能企業がGPT-4 omniを発売します。
! 【新人科学丨AI×暗号:ゼロからピークまで](https://img-cdn.gateio.im/webp-social/moments-0c9bdea33a39a2c07d1f06760ed7e804.webp)
ディープラーニング産業チェーン
現在の大規模モデル言語は、すべて神経ネットワークに基づくディープラーニング手法を使用しています。GPTを先頭にした大規模モデルは人工知能の熱潮を生み出し、多くのプレイヤーがこの分野に参入しました。また、市場がデータや計算力に対する需要が急増していることも分かりました。したがって、報告書のこの部分では、主にディープラーニングアルゴリズムの産業チェーンを探ります。ディープラーニングアルゴリズムが主導するAI業界において、その上下流はどのように構成されているのか、また上下流の現状と需給関係、将来の発展はどのようになるのかを探ります。
まず明確にする必要があるのは、Transformer技術に基づくGPTを中心としたLLMs(の大規模モデル)のトレーニングは、合計で三つのステップに分かれているということです。
トレーニングの前に、Transformerに基づいているため、コンバーターはテキスト入力を数値に変換する必要があります。このプロセスは「トークン化」と呼ばれ、その後、これらの数値はトークンと呼ばれます。一般的な経験則として、英単語または文字は大まかに1つのトークンと見なされ、各漢字は大まかに2つのトークンと見なすことができます。これもまた、GPTの料金計算に使用される基本単位です。
第一歩、事前トレーニング。入力層に十分なデータ対を与えることによって、報告の第一部で例示された(X,Y)のように、モデルの各ニューロンの最適なパラメータを見つける。この時、大量のデータが必要であり、このプロセスは最も計算能力を消費するプロセスでもある。なぜなら、ニューロンがさまざまなパラメータを試すために繰り返し反復する必要があるからである。一批のデータ対のトレーニングが完了した後、一般的には同じデータのバッチを使用して再トレーニングし、パラメータを反復する。
第2ステップ、ファインチューニング。ファインチューニングは、少量だが非常に質の高いデータを与えてモデルを訓練することです。このような変更により、モデルの出力の質が向上します。事前訓練には大量のデータが必要ですが、多くのデータには誤りや低品質のものが含まれている可能性があります。ファインチューニングのステップでは、高品質のデータを通じてモデルの品質を向上させることができます。
第三のステップ、強化学習。まず全く新しいモデルを構築します。このモデルを「報酬モデル」と呼びます。このモデルの目的は非常にシンプルで、出力結果を並べ替えることです。そのため、このモデルの実装は比較的簡単で、ビジネスシーンがかなり特化しているからです。その後、このモデルを使用して私たちの大きなモデルの出力が高品質かどうかを判断します。これにより、報酬モデルを用いて大きなモデルのパラメータを自動的に反復させることができます。(しかし、時には人間がモデルの出力品質を評価する必要もあります。)
要するに、大規模モデルのトレーニングプロセスにおいて、事前学習はデータの量に非常に高い要求を持ち、そのために必要なGPU計算力も最も多くなります。一方、ファインチューニングにはパラメータを改善するためにより高品質なデータが必要です。強化学習は報酬モデルを通じてパラメータを反復的に最適化し、より高品質な結果を出力することができます。
トレーニングの過程では、パラメータが多ければ多いほど、その一般化能力の限界が高くなります。例えば、関数の例でY = aX + bを考えると、実際には2つのニューロンXとX0があります。したがって、パラメータがどのように変化しても、フィッティングできるデータは非常に限られています。なぜなら、それ自体が直線だからです。ニューロンが増えれば、より多くのパラメータを反復でき、より多くのデータをフィッティングできるようになります。これが大規模モデルが奇跡を生む理由であり、一般的に大規模モデルと呼ばれる理由でもあります。本質的には、大量のニューロンとパラメータ、大量のデータが必要であり、同時に大量の計算能力も必要です。
したがって、大規模モデルの性能に影響を与える主な要因は、パラメータの数、データの量と質、計算能力の3つです。この3つは共同で大規模モデルの結果の質と一般化能力に影響を与えます。パラメータの数をp、データの量をn(トークンの数で計算すると)、一般的な経験則を用いて必要な計算量を計算でき、これにより必要な計算能力の大まかな購入状況や訓練時間を予測できます。
計算能力は一般的にFlopsを基本単位として表され、1回の浮動小数点演算を示します。浮動小数点演算とは、非整数の数値の加減乗除の総称であり、例えば2.5+3.557のようなものです。浮動小数点は小数点を持つことができることを示し、FP16は小数をサポートする精度を表します。FP32は一般的により一般的です。