機械学習モデルのカーネルレベルの証明メカニズム

原著者:Zhiyong Fang

"象をどうやって食べるの？一口ずつ食べる。"

近年、機械学習モデルは驚異的な速さで飛躍的に進化しています。 モデルの機能が増加するにつれて、その複雑さも増し、今日の高度なモデルには、数百万または数十億のパラメーターが含まれていることがよくあります。 これらのスケールの課題に対処するために、証明時間、検証時間、証明サイズを動的にバランスさせようとするさまざまなゼロ知識証明システムが登場しています。

表1：モデルパラメータ規模の指数関数的成長

! 機械学習モデルのカーネルレベル証明メカニズム

ゼロ知識証明の分野での現在の作業の多くは、証明システム自体の最適化に焦点を当てていますが、大規模なモデルを証明のためにより小さく、より管理しやすいサブモジュールに合理的に分割する方法という重要な側面は見落とされがちです。 なぜこれがそれほど重要なのか、あなたは尋ねるかもしれませんか?

以下に詳細を説明します：

現代の機械学習モデルのパラメータの数はしばしば十億に達し、暗号処理を伴わない場合でも非常に高いメモリリソースを占有します。そして、ゼロ知識証明（Zero-Knowledge Proof, ZKP）のシナリオでは、この課題がさらに拡大されます。

各浮動小数点数パラメータは、代数体（Arithmetic Field）内の要素に変換されなければなりません。この変換プロセス自体は、メモリ使用量が約5倍から10倍増加する原因となります。さらに、代数体内で浮動小数点演算を正確にシミュレートするためには、追加の操作オーバーヘッドを導入する必要があり、通常は約5倍になります。

これらを合わせると、モデルの全体的なメモリ要件を元のサイズの 25 倍から 50 倍に増やすことができます。 たとえば、10 億個の 32 ビット浮動小数点パラメーターを持つモデルでは、変換されたパラメーターのみを格納するために 100 GB から 200 GB のメモリが必要になる場合があります。 中間計算とシステム自体の証明コストを考慮すると、全体的なメモリフットプリントはテラバイトレベルを簡単に超えます。

現在の主流の証明システム、例えば Groth 16 や Plonk は、最適化されていない実装では、通常すべての関連データが同時にメモリにロードできると仮定しています。この仮定は技術的には可能ですが、実際のハードウェア条件では非常に挑戦的であり、利用可能な証明計算リソースを大きく制限します。

多面体の解決策: zkCuda

zkCudaとは何ですか？

私たちが《zkCUDA技術文書》で述べたように： Polyhedraが発表したzkCUDAは、高性能回路開発向けのゼロ知識計算環境であり、証明生成効率を向上させるために設計されています。回路の表現能力を犠牲にすることなく、zkCUDAは基盤となる証明器とハードウェアの並列処理能力を最大限に活用し、迅速なZK証明生成を実現します。

zkCUDA言語は、文法と意味においてCUDAと高度に類似しており、既存のCUDA経験を持つ開発者に非常に優しいです。また、その底層はRustで実装されており、安全性と性能の両立が保証されています。

zkCUDAを利用することで、開発者は次のことができます：

*高性能ZK回路の迅速な構築。

• 効率的にスケジューリングし、GPUやMPIをサポートするクラスター環境などの分散ハードウェアリソースを利用して、大規模な並列計算を実現します。

なぜ zkCUDA を選ぶのか？

zkCudaは、GPUコンピューティングにインスパイアされた高性能ゼロナレッジコンピューティングフレームワークで、ハイパースケール機械学習モデルをより小さく、より管理しやすいコンピューティングユニット(カーネル)に分割し、CUDAのようなフロントエンド言語による効率的な制御を可能にします。 この設計には、次の主な利点があります。

1. 精密なマッチングの証明システムの選択

zkCUDAは、各計算カーネルの詳細な分析をサポートし、最も適したゼロ知識証明システムをマッチングします。例えば：

• 高度な並列計算タスクには、GKRなどの構造化された並列度を扱うのが得意なプロトコルを選択できます；
• 規模が小さいまたは構造が不規則なタスクには、Groth 16のようなコンパクトな計算シナリオで低コストの証明システムを使用する方が適しています。

カスタマイズされたバックエンドを選択することで、zkCUDAはさまざまなZKプロトコルのパフォーマンスの利点を最大限に引き出すことができます。

2. よりスマートなリソーススケジューリングと並行最適化

異なる証明カーネルは、CPU、メモリ、I/Oのリソース要求に顕著な差異があります。zkCUDAは各タスクのリソース消費を正確に評価し、インテリジェントにスケジューリングして全体のスループット能力を最大化します。

さらに重要なことは、zkCUDAがCPU、GPU、FPGAを含む異種計算プラットフォーム間でタスクを配分できることです。これによりハードウェアリソースの最適な利用が実現され、システム全体の性能が大幅に向上します。

zkCudaとGKRプロトコルの自然な適合

zkCudaは、さまざまなゼロ知識証明システムに対応した汎用計算フレームワークとして設計されていますが、GKR（Goldwasser-Kalai-Rothblum）プロトコルとのアーキテクチャには天然の高度な適合性があります。

! 機械学習モデルのカーネルレベル証明メカニズム

アーキテクチャ設計において、zkCUDAは多項式コミットメントメカニズムを導入することにより、各サブ計算カーネルを接続し、すべてのサブ計算が一貫した共有データに基づいて実行されることを保証します。このメカニズムはシステムの完全性を維持するために非常に重要ですが、顕著な計算コストももたらします。

対照的に、GKRプロトコルは、より効率的な代替パスを提供します。 各コアが内部制約を完全に証明する必要がある従来のゼロ知識システムとは異なり、GKRでは、カーネル出力から入力まで再帰的にトレースバックして計算の正しさの検証を行うことができます。 このメカニズムにより、正確性は各モジュールで完全に検証されるのではなく、カーネル間で転送されます。 その核となる考え方は、機械学習における勾配バックプロパゲーションに似ており、正しさの主張がトレースされ、計算グラフを通じて伝達されます。

このような「証明勾配」をマルチパスでマージすると、多少の複雑さが生じますが、zkCUDAとGKRの間の深い相乗効果の基礎を形成するのは、このメカニズムです。 zkCUDAは、機械学習のトレーニングプロセスで構造的な特徴を調整することで、大規模なモデルシナリオにおいて、より緊密なシステム統合とより効率的なゼロ知識証明の生成を実現することが期待されています。

予備的な結果と今後の方向性

私たちは、zkCudaフレームワークの初期開発を完了し、KeccakやSHA-256などの暗号学的ハッシュ関数や小規模な機械学習モデルを含む複数のシナリオで成功裏にテストを行いました。

未来を展望すると、私たちはメモリ効率の良いスケジューリング（memory-efficient scheduling）やグラフレベルの最適化（graph-level optimization）など、現代の機械学習トレーニングにおける一連の成熟したエンジニアリング技術をさらに導入したいと考えています。これらの戦略をゼロ知識証明生成プロセスに統合することで、システムの性能の限界と適応性が大幅に向上すると信じています。

これは単なる出発点であり、zkCudaは効率的で高いスケーラビリティと高い適応性を持つ汎用証明フレームワークへと進化し続けます。

原文リンク