Khi trí tuệ nhân tạo (AI) ngày càng được triển khai trong các lĩnh vực quan trọng như chăm sóc sức khỏe, tài chính và lái xe tự động, việc đảm bảo độ tin cậy, tính minh bạch và an ninh của quá trình suy diễn học máy (ML) đang trở nên quan trọng hơn bao giờ hết.

Tuy nhiên, các dịch vụ học máy truyền thống thường hoạt động như một "hộp đen", nơi người dùng chỉ có thể thấy kết quả và gặp khó khăn trong việc xác minh quy trình. Sự thiếu minh bạch này khiến các dịch vụ mô hình dễ bị tổn thương trước các rủi ro:

Mô hình đã bị đánh cắp,

Kết quả suy diễn đã bị can thiệp một cách ác ý,

Dữ liệu người dùng đang có nguy cơ bị vi phạm quyền riêng tư.

ZKML (Học máy zk-SNARKs) cung cấp một giải pháp mật mã mới cho thách thức này. Nó dựa vào công nghệ zk-SNARKs, cho phép các mô hình học máy có khả năng được mã hóa một cách có thể xác minh: chứng minh rằng một phép toán đã được thực hiện đúng mà không tiết lộ bất kỳ thông tin nhạy cảm nào.

Nói cách khác, Bằng chứng không kiến ​​thức cho phép các nhà cung cấp dịch vụ chứng minh cho người dùng rằng:

"Các kết quả suy diễn mà bạn thu được thực sự được tạo ra bởi mô hình đã được đào tạo mà tôi đã chạy — nhưng tôi sẽ không tiết lộ bất kỳ tham số mô hình nào."

Điều này có nghĩa là người dùng có thể tin tưởng vào tính xác thực của các kết quả suy diễn, trong khi cấu trúc và các tham số của mô hình (thường là tài sản có giá trị cao) vẫn được giữ bí mật.

zkPyTorch:

Mạng Polyhedra đã ra mắt zkPyTorch, một trình biên dịch cách mạng được thiết kế đặc biệt cho học máy không kiến ​​thức (ZKML), nhằm kết nối khoảng cách cuối cùng giữa các khung AI chính thống và công nghệ ZK.

zkPyTorch tích hợp sâu sắc khả năng học máy mạnh mẽ của PyTorch với các công cụ zk-SNARKs tiên tiến, cho phép các nhà phát triển AI xây dựng các ứng dụng AI có thể xác minh trong một môi trường quen thuộc mà không cần thay đổi thói quen lập trình của họ hoặc học một ngôn ngữ ZK hoàn toàn mới.

Trình biên dịch này có thể tự động dịch các thao tác mô hình cấp cao (chẳng hạn như tích chập, nhân ma trận, ReLU, softmax và cơ chế attention) thành các mạch ZKP có thể xác minh một cách mật mã. Nó kết hợp bộ tối ưu hóa ZKML tự phát triển của Polyhedra để nén và tăng tốc một cách thông minh các đường dẫn suy diễn chính, đảm bảo cả tính chính xác và hiệu quả tính toán của các mạch.

Cơ sở hạ tầng chính để xây dựng một hệ sinh thái AI đáng tin cậy

Hệ sinh thái học máy hiện tại đang đối mặt với nhiều thách thức như bảo mật dữ liệu, khả năng xác minh tính toán và tính minh bạch của mô hình. Đặc biệt trong các ngành công nghiệp quan trọng như chăm sóc sức khỏe, tài chính và lái xe tự động, các mô hình AI không chỉ liên quan đến một lượng lớn thông tin cá nhân nhạy cảm mà còn mang theo tài sản trí tuệ có giá trị cao và bí mật kinh doanh cốt lõi.

Học máy không kiến thức (ZKML) đã nổi lên như một bước đột phá quan trọng trong việc giải quyết tình huống này. Thông qua công nghệ Bằng chứng không kiến ​​thức (ZKP), ZKML có thể hoàn thành việc xác minh tính toàn vẹn của suy diễn mô hình mà không tiết lộ các tham số mô hình hoặc dữ liệu đầu vào—bảo vệ quyền riêng tư trong khi đảm bảo sự tin cậy.

Nhưng trên thực tế, phát triển Bằng chứng không kiến ​​thức thường có ngưỡng cao, yêu cầu nền tảng sâu về mật mã, điều này xa vời so với những gì các kỹ sư AI truyền thống có thể dễ dàng xử lý.

Đây chính xác là sứ mệnh của zkPyTorch. Nó xây dựng một cầu nối giữa PyTorch và động cơ ZKP, cho phép các nhà phát triển xây dựng các hệ thống AI với bảo vệ quyền riêng tư và khả năng xác minh bằng cách sử dụng mã quen thuộc, mà không cần phải học lại các ngôn ngữ mật mã phức tạp.

Thông qua zkPyTorch, Polyhedra Network đang giảm đáng kể các rào cản kỹ thuật của Bằng chứng không kiến ​​thức, thúc đẩy các ứng dụng AI có thể mở rộng và đáng tin cậy vào dòng chính, và tái cấu trúc một mô hình mới về an ninh và quyền riêng tư trong AI.

luồng công việc zkPyTorch

Hình 1: Tổng quan về kiến trúc tổng thể của Bằng chứng không kiến ​​thức PyTorch

Như được thể hiện trong Hình 1, zkPyTorch tự động chuyển đổi các mô hình PyTorch tiêu chuẩn thành các mạch tương thích với Bằng chứng không kiến ​​thức (zk-SNARKs) thông qua ba mô-đun được thiết kế cẩn thận. Ba mô-đun này bao gồm: mô-đun tiền xử lý, mô-đun định lượng thân thiện với không kiến ​​thức, và mô-đun tối ưu hóa mạch.

Quá trình này không yêu cầu các nhà phát triển phải thành thạo bất kỳ mạch mã hóa nào hoặc cú pháp chuyên biệt: các nhà phát triển chỉ cần viết mô hình bằng cách sử dụng PyTorch tiêu chuẩn, và zkPyTorch có thể chuyển đổi chúng thành các mạch có thể được nhận diện bởi các động cơ bằng chứng không kiến ​​thức như Expander, tạo ra bằng chứng ZK tương ứng.

Thiết kế cực kỳ mô-đun này làm giảm đáng kể ngưỡng phát triển của Bằng chứng không kiến ​​thức, cho phép các nhà phát triển AI dễ dàng xây dựng các ứng dụng học máy hiệu quả, an toàn và có thể xác minh mà không cần phải chuyển đổi ngôn ngữ hoặc học về mật mã.

Khối Một: Tiền xử lý Mô hình

Trong giai đoạn đầu tiên, zkPyTorch sẽ chuyển đổi mô hình PyTorch thành một đồ thị tính toán có cấu trúc sử dụng định dạng Open Neural Network Exchange (ONNX). ONNX là một tiêu chuẩn đại diện trung gian được ngành công nghiệp chấp nhận rộng rãi, có thể đại diện đồng nhất cho các hoạt động học máy phức tạp khác nhau. Thông qua bước tiền xử lý này, zkPyTorch có khả năng làm rõ cấu trúc mô hình và phân tích quy trình tính toán cốt lõi, tạo nền tảng vững chắc cho việc tạo ra các mạch zk-SNARKs trong các bước tiếp theo.

Module 2: Định lượng thân thiện với Bằng chứng không kiến ​​thức

Mô-đun lượng tử hóa là một thành phần chính của hệ thống ZKML. Các mô hình học máy truyền thống phụ thuộc vào các phép toán số thực, trong khi môi trường ZKP phù hợp hơn cho các phép toán số nguyên trong các trường hữu hạn. zkPyTorch áp dụng một sơ đồ lượng tử hóa số nguyên được tối ưu hóa cho các trường hữu hạn, ánh xạ chính xác các phép toán số thực sang các phép toán số nguyên, đồng thời biến đổi các phép toán phi tuyến không có lợi cho ZKP (như ReLU và Softmax) thành các dạng bảng tra cứu hiệu quả.

Chiến lược này không chỉ giảm đáng kể độ phức tạp của mạch mà còn nâng cao khả năng xác minh và hiệu suất hoạt động tổng thể của hệ thống trong khi đảm bảo độ chính xác của mô hình.

Mô-đun 3: Tối ưu hóa mạch phân cấp

zkPyTorch áp dụng một chiến lược đa cấp cho tối ưu hóa mạch, cụ thể bao gồm:

Tối ưu hóa theo lô
Được thiết kế đặc biệt cho tính toán tuần tự, nó giảm đáng kể độ phức tạp tính toán và tiêu thụ tài nguyên bằng cách xử lý nhiều bước suy diễn cùng một lúc, làm cho nó đặc biệt phù hợp cho các kịch bản xác minh của các mô hình ngôn ngữ lớn như Transformers.

Tăng tốc hoạt động ngôn ngữ gốc
Bằng cách kết hợp biến đổi Fourier nhanh (FFT) với công nghệ bảng tra cứu, tốc độ thực hiện của các phép toán cơ bản như tích chập và Softmax được cải thiện đáng kể, từ đó nâng cao hiệu quả tính toán tổng thể.

Thực thi mạch song song
Tận dụng tối đa lợi thế về sức mạnh tính toán của các CPU và GPU đa nhân bằng cách chia nhỏ các phép toán tải nặng như nhân ma trận thành nhiều nhiệm vụ con để thực hiện song song, cải thiện đáng kể tốc độ và khả năng mở rộng của việc tạo zk-SNARKs.

Thảo luận kỹ thuật sâu sắc

Đồ thị có hướng không chu trình (DAG)

zkPyTorch sử dụng Đồ thị vô hướng có hướng (DAG) để quản lý luồng tính toán của học máy. Cấu trúc DAG hệ thống hóa việc nắm bắt các phụ thuộc mô hình phức tạp, như được hiển thị trong Hình 2, nơi mỗi nút đại diện cho một phép toán cụ thể (chẳng hạn như chuyển vị ma trận, nhân ma trận, chia, và Softmax), và các cạnh mô tả chính xác luồng dữ liệu giữa các phép toán này.

Cách biểu diễn rõ ràng và có cấu trúc này không chỉ giúp quá trình gỡ lỗi trở nên dễ dàng hơn mà còn hỗ trợ trong việc tối ưu hóa hiệu suất một cách sâu sắc. Tính chất không chu trình của DAG tránh các phụ thuộc vòng, đảm bảo việc thực thi thứ tự tính toán hiệu quả và có thể kiểm soát, điều này rất quan trọng cho việc tối ưu hóa việc tạo ra mạch zk-SNARKs.

Ngoài ra, DAG cho phép zkPyTorch xử lý hiệu quả các kiến trúc mô hình phức tạp như Transformers và Residual Networks (ResNet), thường có các luồng dữ liệu phức tạp phi tuyến đa đường. Thiết kế của DAG hoàn toàn phù hợp với các nhu cầu tính toán của chúng, đảm bảo độ chính xác và hiệu quả của việc suy diễn mô hình.

Hình 2: Một ví dụ về mô hình học máy được biểu diễn dưới dạng đồ thị không chu trình có hướng (DAG)

Kỹ thuật định lượng nâng cao

Trong zkPyTorch, các kỹ thuật lượng tử hóa nâng cao là một bước quan trọng trong việc chuyển đổi các phép toán số thực thành các phép toán số nguyên phù hợp cho phép toán trường hữu hạn hiệu quả trong các hệ thống bằng chứng không kiến ​​thức (ZKP). zkPyTorch sử dụng một phương pháp lượng tử hóa số nguyên tĩnh, được thiết kế cẩn thận để cân bằng giữa hiệu suất tính toán và độ chính xác của mô hình, đảm bảo rằng quá trình sinh bằng chứng vừa nhanh vừa chính xác.

Quá trình lượng tử hóa này liên quan đến việc hiệu chỉnh nghiêm ngặt để xác định chính xác quy mô lượng tử hóa tối ưu nhằm biểu diễn hiệu quả các số thực, tránh tràn số và mất mát đáng kể độ chính xác. Để giải quyết những thách thức về phép toán phi tuyến tính độc đáo của Bằng chứng không kiến ​​thức (như Softmax và chuẩn hóa lớp), zkPyTorch đã đổi mới biến những hàm phức tạp này thành các phép toán tra cứu bảng hiệu quả.

Chiến lược này không chỉ cải thiện đáng kể hiệu quả của việc tạo ra bằng chứng mà còn đảm bảo rằng các kết quả bằng chứng được tạo ra hoàn toàn nhất quán với đầu ra của các mô hình định lượng độ chính xác cao, cân bằng hiệu suất và độ tin cậy, đồng thời thúc đẩy ứng dụng thực tiễn của học máy có thể xác minh.

Chiến lược tối ưu hóa mạch đa cấp

zkPyTorch áp dụng một hệ thống tối ưu hóa mạch đa lớp rất tinh vi, đảm bảo hiệu suất tối ưu của bằng chứng không kiến ​​thức về mặt hiệu quả và khả năng mở rộng từ nhiều khía cạnh:

Tối ưu hóa xử lý theo lô

Bằng cách gộp nhiều tác vụ suy diễn thành xử lý theo lô, độ phức tạp tính toán tổng thể được giảm đáng kể, đặc biệt phù hợp cho các thao tác tuần tự trong các mô hình ngôn ngữ như Transformers. Như được thể hiện trong Hình 3, quá trình suy diễn truyền thống của các mô hình ngôn ngữ lớn (LLM) hoạt động theo cách tạo ra từng mã thông báo, trong khi cách tiếp cận sáng tạo của zkPyTorch tổng hợp tất cả các mã thông báo đầu vào và đầu ra thành một quy trình nhắc đơn để xác thực. Phương pháp xử lý này có thể xác nhận tính chính xác tổng thể của suy diễn LLM ngay lập tức, đồng thời đảm bảo rằng mỗi mã thông báo đầu ra nhất quán với suy diễn LLM tiêu chuẩn.

Trong suy diễn LLM, tính chính xác của cơ chế bộ nhớ cache KV (bộ nhớ cache khóa-giá trị) là yếu tố quan trọng để đảm bảo độ tin cậy của các đầu ra suy diễn. Nếu logic suy diễn của mô hình không chính xác, ngay cả khi có bộ nhớ cache, nó cũng không thể tái tạo các kết quả nhất quán với quy trình giải mã chuẩn. zkPyTorch đảm bảo rằng mọi đầu ra trong zk-SNARKs đều có tính xác định và đầy đủ có thể xác minh bằng cách tái hiện chính xác quy trình này.

Hình 3: Xác minh theo lô của các mô hình ngôn ngữ quy mô lớn (LLMs), trong đó L đại diện cho độ dài chuỗi đầu vào, N đại diện cho độ dài chuỗi đầu ra, và H đại diện cho kích thước lớp ẩn của mô hình.

Các phép toán nguyên thủy tối ưu hóa

zkPyTorch đã tối ưu hóa sâu sắc các nguyên tắc cơ bản của máy học, nâng cao đáng kể hiệu suất mạch. Ví dụ, các phép toán tích chập luôn là những nhiệm vụ yêu cầu tính toán cao; zkPyTorch sử dụng một phương pháp tối ưu hóa dựa trên Biến đổi Fourier nhanh (FFT) để chuyển đổi các phép tích chập ban đầu được thực hiện trong miền không gian thành các phép toán nhân trong miền tần số, giảm đáng kể chi phí tính toán. Đồng thời, đối với các hàm phi tuyến như ReLU và softmax, hệ thống sử dụng một phương pháp bảng tra cứu đã được tính toán trước, tránh các phép tính phi tuyến không thân thiện với ZKP, cải thiện đáng kể hiệu quả hoạt động của các mạch suy diễn.

Thực thi mạch song song

zkPyTorch tự động biên dịch các thao tác ML phức tạp thành các mạch song song, tận dụng tối đa tiềm năng phần cứng của các CPU/GPU đa lõi để đạt được việc tạo chứng nhận song song quy mô lớn. Ví dụ, khi thực hiện phép nhân tensor, zkPyTorch tự động chia nhỏ nhiệm vụ tính toán thành nhiều nhiệm vụ con độc lập, sau đó phân phối cho nhiều đơn vị xử lý để thực thi đồng thời. Chiến lược song song này không chỉ cải thiện đáng kể thông lượng của việc thực thi mạch mà còn làm cho việc xác minh hiệu quả các mô hình lớn trở thành hiện thực, mở ra những chiều kích mới cho ZKML có thể mở rộng.

Kiểm tra hiệu suất toàn diện: một bước đột phá kép về hiệu suất và độ chính xác

zkPyTorch thể hiện hiệu suất xuất sắc và tính khả dụng thực tiễn trên nhiều mô hình học máy chính thống thông qua việc chuẩn hóa nghiêm ngặt:

Kiểm tra mô hình VGG-16
Trên tập dữ liệu CIFAR-10, zkPyTorch chỉ mất 6,3 giây để tạo ra một bằng chứng VGG-16 cho một hình ảnh duy nhất, và độ chính xác gần như không thể phân biệt với tính toán số thực truyền thống. Điều này đánh dấu khả năng thực tiễn của zkML trong các nhiệm vụ cổ điển như nhận dạng hình ảnh.

Kiểm tra mô hình Llama-3
Đối với mô hình ngôn ngữ lớn Llama-3 với tối đa 8 tỷ tham số, zkPyTorch đạt được việc tạo chứng cứ hiệu quả trong khoảng 150 giây cho mỗi token. Thậm chí ấn tượng hơn, đầu ra của nó duy trì độ tương đồng cosine là 99,32% so với mô hình gốc, đảm bảo độ tin cậy cao trong khi vẫn bảo tồn tính nhất quán ngữ nghĩa của đầu ra mô hình.

Bảng 1: Hiệu suất của các sơ đồ Bằng chứng không kiến ​​thức trong mạng nơ-ron tích chập và mạng transformer

Một loạt các kịch bản ứng dụng trong thế giới thực

MLaaS có thể xác minh

Khi giá trị của các mô hình học máy tiếp tục tăng, ngày càng nhiều nhà phát triển AI chọn triển khai các mô hình tự phát triển của họ lên đám mây, cung cấp dịch vụ MLaaS (Machine-Learning-as-a-Service). Tuy nhiên, trên thực tế, người dùng thường gặp khó khăn trong việc xác minh xem kết quả suy diễn có xác thực và đáng tin cậy hay không; trong khi đó, các nhà cung cấp mô hình cũng mong muốn bảo vệ các tài sản cốt lõi như cấu trúc mô hình và các tham số để ngăn chặn việc đánh cắp hoặc lạm dụng.

zkPyTorch ra đời để giải quyết mâu thuẫn này: nó cho phép các dịch vụ AI đám mây có khả năng "xác minh không kiến ​​thức" bản địa, đạt được kết quả suy diễn ở mức mã hóa có thể xác minh.

Như được thể hiện trong Hình 4, các nhà phát triển có thể tích hợp trực tiếp các mô hình lớn như Llama-3 vào zkPyTorch để xây dựng một hệ thống MLaaS đáng tin cậy với khả năng bằng chứng không kiến ​​thức. Bằng cách tích hợp liền mạch với động cơ ZKP nền tảng, zkPyTorch có thể tự động tạo ra các bằng chứng mà không tiết lộ chi tiết mô hình, xác minh xem mỗi suy diễn có được thực hiện đúng hay không, từ đó thiết lập một nền tảng tin cậy thực sự cho sự tương tác giữa nhà cung cấp mô hình và người dùng.

Hình 4: Các kịch bản ứng dụng của zkPyTorch trong MLaaS có thể xác minh.

Sự hộ tống an toàn của việc định giá mô hình

zkPyTorch cung cấp một cơ chế đánh giá mô hình AI an toàn và có thể xác minh, cho phép các bên liên quan thận trọng đánh giá các chỉ số hiệu suất chính mà không tiết lộ chi tiết của mô hình. Phương pháp định giá "không rò rỉ" này thiết lập một tiêu chuẩn tin cậy mới cho các mô hình AI, nâng cao hiệu quả của các giao dịch thương mại đồng thời bảo vệ quyền sở hữu trí tuệ của các nhà phát triển. Nó không chỉ tăng cường khả năng nhìn thấy giá trị của mô hình mà còn mang lại sự minh bạch và công bằng hơn cho toàn bộ ngành công nghiệp AI.

Tích hợp sâu với blockchain EXPchain

zkPyTorch tích hợp natively với mạng blockchain EXPchain được phát triển độc lập bởi Polyhedra Network, cùng xây dựng một cơ sở hạ tầng AI phi tập trung đáng tin cậy. Sự tích hợp này cung cấp một con đường tối ưu hóa cao cho việc gọi hợp đồng thông minh và xác minh trên chuỗi, cho phép kết quả suy diễn AI được xác minh bằng mật mã và lưu trữ vĩnh viễn trên blockchain.

Với sự hợp tác của zkPyTorch và EXPchain, các nhà phát triển có thể xây dựng các ứng dụng AI có thể xác minh từ đầu đến cuối, từ triển khai mô hình, tính toán suy diễn đến xác minh trên chuỗi, thực sự hiện thực hóa một quy trình tính toán AI minh bạch, đáng tin cậy và có thể kiểm toán, cung cấp hỗ trợ cơ sở cho thế hệ ứng dụng blockchain + AI tiếp theo.

Lộ trình tương lai và Đổi mới liên tục

Polyhedra sẽ tiếp tục thúc đẩy sự tiến hóa của zkPyTorch, tập trung vào các khía cạnh sau:

Mã nguồn mở và cộng đồng đồng xây dựng

Dần dần mở nguồn các thành phần cốt lõi của zkPyTorch, khuyến khích các nhà phát triển toàn cầu tham gia và thúc đẩy đổi mới hợp tác và thịnh vượng sinh thái trong lĩnh vực Bằng chứng không kiến ​​thức máy học.

Mở rộng khả năng tương thích của mô hình và khung

Mở rộng phạm vi hỗ trợ cho các mô hình và khung máy học chính thống, tăng cường khả năng thích ứng và tính linh hoạt của zkPyTorch, giúp nó linh hoạt tích hợp vào các quy trình làm việc AI khác nhau.

Công cụ phát triển và xây dựng SDK

Khởi động một bộ công cụ phát triển toàn diện và bộ phát triển phần mềm (SDK) để đơn giản hóa quy trình tích hợp và tăng tốc việc triển khai và ứng dụng của zkPyTorch trong các kịch bản kinh doanh thực tế.

Kết luận

zkPyTorch là một cột mốc quan trọng hướng tới một tương lai AI đáng tin cậy. Bằng cách tích hợp sâu sắc khung PyTorch trưởng thành với công nghệ zk-SNARKs tiên tiến, zkPyTorch không chỉ nâng cao đáng kể tính bảo mật và khả năng xác minh của học máy mà còn định hình lại các phương thức triển khai và ranh giới tin cậy của các ứng dụng AI.

Polyhedra sẽ tiếp tục đổi mới trong lĩnh vực "AI an toàn", thúc đẩy việc học máy hướng tới các tiêu chuẩn cao hơn trong bảo vệ quyền riêng tư, khả năng xác minh kết quả và tuân thủ mô hình, giúp xây dựng các hệ thống thông minh minh bạch, đáng tin cậy và có thể mở rộng.

Hãy theo dõi những cập nhật mới nhất của chúng tôi và chứng kiến cách zkPyTorch đang định hình tương lai của kỷ nguyên thông minh an toàn.

Tuyên bố:

1. Bài viết này được sao chép từ [BLOCKBEATS] Bản quyền thuộc về tác giả gốc [Jiaheng Zhang] Nếu bạn có bất kỳ phản đối nào về việc tái bản, vui lòng liên hệ Đội ngũ Gate LearnĐội ngũ sẽ xử lý nó nhanh nhất có thể theo các quy trình liên quan.
2. Khước từ trách nhiệm: Những quan điểm và ý kiến được bày tỏ trong bài viết này hoàn toàn là của tác giả và không cấu thành bất kỳ lời khuyên đầu tư nào.
3. Các phiên bản ngôn ngữ khác của bài viết được dịch bởi đội ngũ Gate Learn, trừ khi có đề cập khác.CổngTrong những hoàn cảnh như vậy, việc sao chép, phân phối hoặc đạo văn các bài viết đã dịch là không được phép.