Оскільки штучний інтелект (ШІ) все більше впроваджується в ключові сфери, такі як охорона здоров'я, фінанси та автономне водіння, забезпечення надійності, прозорості та безпеки процесу висновків машинного навчання (МН) стає важливішим, ніж будь-коли.

Однак традиційні послуги машинного навчання часто працюють як "чорна скринька", де користувачі можуть тільки бачити результати і важко перевірити процес. Ця відсутність прозорості робить сервіси моделей вразливими до ризиків:

Модель була вкрадена,

Результат висновку був зловмисно змінений,

Дані користувачів піддаються ризику порушення конфіденційності.

ZKML (машинне навчання на основі zk-SNARKs) пропонує нове криптографічне рішення для цієї проблеми. Він спирається на технологію zk-SNARKs, що надає моделям машинного навчання можливість бути перевірено зашифрованими: доводячи, що обчислення виконано правильно, не розкриваючи жодної чутливої інформації.

Іншими словами, Доказ із нульовим розголошенням дозволяє постачальникам послуг доводити користувачам, що:

"Отримані вами результати висновків дійсно були згенеровані навченою моделлю, яку я запустив — але я не розкрию жодних параметрів моделі."

Це означає, що користувачі можуть довіряти автентичності результатів висновків, тоді як структура та параметри моделі (які часто є активами високої вартості) залишаються конфіденційними.

zkPyTorch:

Polyhedra Network запустила zkPyTorch, революційний компілятор, спеціально розроблений для машинного навчання з нульовим розголошенням (ZKML), метою якого є подолання останнього кроку між основними AI-фреймворками та технологією ZK.

zkPyTorch глибоко інтегрує потужні можливості машинного навчання PyTorch з передовими двигунами zk-SNARKs, що дозволяє розробникам ШІ створювати перевіряємі AI-додатки в знайомому середовищі без зміни своїх програмувальних звичок або вивчення абсолютно нової ZK-мови.

Цей компілятор може автоматично перекладати операції високого рівня моделі (такі як згортка, множення матриць, ReLU, softmax та механізми уваги) у криптографічно перевіряні ZKP-циркули. Він поєднує в собі самостійно розроблений набір оптимізації ZKML від Polyhedra для інтелектуального стиснення та прискорення основних шляхів висновку, забезпечуючи як правильність, так і обчислювальну ефективність циркулів.

Ключова інфраструктура для побудови надійної екосистеми штучного інтелекту

Сучасна екосистема машинного навчання стикається з численними викликами, такими як безпека даних, обчислювальна перевірка та прозорість моделей. Особливо в критичних галузях, таких як охорона здоров'я, фінанси та автономне водіння, моделі ШІ не лише містять велику кількість чутливої особистої інформації, але й несуть вартісну інтелектуальну власність та основні бізнес-секрети.

Машинне навчання з нульовим розголошенням (ZKML) стало важливим проривом у вирішенні цієї дилеми. Завдяки технології Доказу із нульовим розголошенням (ZKP) ZKML може завершити перевірку цілісності висновків моделі, не розголошуючи параметри моделі або вхідні дані—захищаючи конфіденційність, водночас забезпечуючи довіру.

Але насправді, розробка ZKML часто має високий поріг, що вимагає глибоких знань у криптографії, що далеко не під силу традиційним інженерам ШІ.

Це саме місія zkPyTorch. Він будує міст між PyTorch та ZKP-двигуном, дозволяючи розробникам створювати AI-системи з захистом конфіденційності та перевірюваністю, використовуючи знайомий код, без необхідності повторного вивчення складних криптографічних мов.

Завдяки zkPyTorch, Polyhedra Network значно знижує технічні бар'єри ZKML, сприяючи масштабованим і надійним AI-додаткам у маси та реконструюючи нову парадигму безпеки та конфіденційності AI.

zkPyTorch робочий процес

Рисунок 1: Огляд загальної архітектури ZKPyTorch

Як показано на Рисунку 1, zkPyTorch автоматично перетворює стандартні моделі PyTorch на кола, сумісні з Доказом із нульовим розголошенням (zk-SNARKs) через три ретельно розроблені модулі. Ці три модулі включають: модуль попередньої обробки, модуль квантизації, дружній до нульового знання, та модуль оптимізації кола.

Цей процес не вимагає від розробників оволодіння будь-якими криптографічними схемами або спеціалізованим синтаксисом: розробникам потрібно лише писати моделі, використовуючи стандартний PyTorch, а zkPyTorch може перетворити їх на схеми, які можуть бути визнані двигунами доказів із нульовим розголошенням, такими як Expander, генеруючи відповідний ZK доказ.

Цей високомодульний дизайн значно знижує поріг розробки ZKML, дозволяючи розробникам ШІ легко створювати ефективні, безпечні та перевіряємi додатки машинного навчання без необхідності змінювати мови або вивчати криптографію.

Блок один: Попередня обробка моделі

На першому етапі zkPyTorch перетворить модель PyTorch у структурований обчислювальний граф за допомогою формату Open Neural Network Exchange (ONNX). ONNX є стандартом промислового рівня, що широко використовується для проміжного представлення, який може однорідно представляти різні складні операції машинного навчання. Завдяки цьому етапу попередньої обробки zkPyTorch здатен уточнити структуру моделі та розбити основний обчислювальний процес, закладаючи міцну основу для генерації схем zk-SNARKs на наступних етапах.

Модуль 2: Доказ із нульовим розголошенням Дружня Квантифікація

Модуль квантизації є ключовим компонентом системи ZKML. Традиційні моделі машинного навчання покладаються на операції з плаваючою комою, тоді як середовище ZKP більш підходить для цілочисельних операцій у скінченних полях. zkPyTorch приймає схему цілочисельної квантизації, оптимізовану для скінченних полів, точно відображаючи обчислення з плаваючою комою в цілочисельні обчислення, одночасно перетворюючи нелінійні операції, які є невигідними для ZKP (такі як ReLU та Softmax), у ефективні форми таблиць пошуку.

Ця стратегія не лише значно знижує складність схем, але й підвищує загальну перевіряємість системи та оперативну ефективність, забезпечуючи при цьому точність моделі.

Модуль 3: Ієрархічна оптимізація схем

zkPyTorch використовує багаторівневу стратегію для оптимізації схем, зокрема включаючи:

Пакетна оптимізація
Спеціально розроблений для серіалізованих обчислень, він значно зменшує обчислювальну складність і споживання ресурсів, обробляючи кілька кроків висновку одночасно, що робить його особливо придатним для сценаріїв верифікації великих мовних моделей, таких як Transformers.

Прискорення операцій оригінальної мови
Поєднуючи перетворення Фур'є швидкого виконання (FFT) з технологією таблиць пошуку, швидкість виконання базових операцій, таких як згортка та Softmax, ефективно підвищується, що в свою чергу покращує загальну обчислювальну ефективність.

Паралельне виконання схем
Повністю використовуйте переваги обчислювальної потужності багатоядерних ЦП та ГП, розділяючи важкі обчислення, такі як множення матриць, на кілька підзадач для паралельного виконання, що значно поліпшує швидкість і масштабованість генерації Доказів із нульовим розголошенням.

Глибоке технічне обговорення

Організований ациклічний граф (DAG)

zkPyTorch використовує спрямований ациклічний граф (DAG) для управління обчислювальним потоком машинного навчання. Структура DAG систематично захоплює складні залежності моделі, як показано на малюнку 2, де кожен вузол представляє собою конкретну операцію (таку як транспонування матриці, множення матриці, ділення та Softmax), а ребра точно описують потік даних між цими операціями.

Ця чітка та структурована репрезентація не лише значно полегшує процес налагодження, але й допомагає у глибокій оптимізації продуктивності. Ациклічна природа DAG запобігає круговим залежностям, що забезпечує ефективне та контрольоване виконання порядку обчислень, що є вирішальним для оптимізації генерації схем zk-SNARKs.

Крім того, DAG дозволяє zkPyTorch ефективно обробляти складні архітектури моделей, такі як Трансформери та Резистентні мережі (ResNet), які часто мають багатошляхи, нелінійні складні потоки даних. Дизайн DAG ідеально відповідає їх обчислювальним потребам, забезпечуючи точність та ефективність виведення моделі.

Рисунок 2: Приклад моделі машинного навчання, представленої у вигляді спрямованого ациклічного графа (DAG)

Розширені кількісні методи

У zkPyTorch просунуті техніки квантування є ключовим етапом у перетворенні обчислень з плаваючою комою на цілі операції, придатні для ефективної арифметики скінченних полів у системах доказів із нульовим розголошенням (ZKP). zkPyTorch використовує статичний метод цілочисельного квантування, ретельно розроблений для балансування обчислювальної ефективності та точності моделі, забезпечуючи швидке та точне генерування доказів.

Цей процес квантизації включає сувору калібрування для точного визначення оптимальної шкали квантизації для ефективного представлення чисел з плаваючою комою, уникаючи переповнення та значної втрати точності. Щоб вирішити унікальні виклики нелінійних операцій ZKP (такі як Softmax і нормалізація шару), zkPyTorch інноваційно перетворює ці складні функції на ефективні операції пошуку в таблиці.

Ця стратегія не лише значно покращує ефективність генерації доказів, але й забезпечує повну узгодженість згенерованих доказів з результатами високоточних кількісних моделей, балансуючи продуктивність і надійність, і сприяючи практичному застосуванню перевіряємого машинного навчання.

Стратегія оптимізації мульти-рівневих схем

zkPyTorch використовує високорозвинену систему оптимізації багатошарових схем, що забезпечує максимальну продуктивність нульового знання в аспектах ефективності та масштабованості з кількох вимірів:

Оптимізація пакетної обробки

Упаковуючи кілька завдань виведення в пакетну обробку, загальна обчислювальна складність значно зменшується, що особливо підходить для послідовних операцій у мовних моделях, таких як Transformers. Як показано на малюнку 3, традиційний процес виведення великих мовних моделей (LLM) відбувається в режимі генерації токен за токеном, тоді як інноваційний підхід zkPyTorch агрегує всі вхідні та вихідні токени в один процес підказки для валідації. Цей метод обробки може підтвердити загальну правильність виведення LLM за один раз, забезпечуючи при цьому, щоб кожен вихідний токен відповідав стандартному виведенню LLM.

У висновках LLM правильність механізму кешу KV (кеш ключ-значення) є ключовою для забезпечення надійності виходу висновків. Якщо логіка висновку моделі є неправильною, навіть за наявності кешування, вона не може відтворити результати, які відповідають стандартному процесу декодування. zkPyTorch забезпечує, що кожен вихід у zk-SNARK має перевірну детермінованість і повноту, точно відтворюючи цей процес.

Рисунок 3: Партійна верифікація мовних моделей великого масштабу (LLM), де L представляє довжину вхідної послідовності, N представляє довжину вихідної послідовності, а H представляє розмірність прихованого шару моделі.

Оптимізовані первинні операції

zkPyTorch глибоко оптимізував базові примітиви машинного навчання, значно підвищивши ефективність схем. Наприклад, операції згортки завжди були обчислювально інтенсивними завданнями; zkPyTorch використовує метод оптимізації на основі швидкого перетворення Фур'є (FFT), щоб перетворити згортки, які спочатку виконувалися в просторовій області, на множення в частотній області, значно зменшуючи обчислювальні витрати. Водночас для нелінійних функцій, таких як ReLU та softmax, система використовує підхід із заздалегідь обчисленою таблицею пошуку, уникаючи нелінійних обчислень, які не є дружніми до ZKP, що значно покращує оперативну ефективність інференційних схем.

Паралельне виконання схеми

zkPyTorch автоматично компілює складні ML операції в паралельні схеми, повністю використовуючи апаратний потенціал багатоядерних ЦП/ГП для досягнення масштабної паралельної генерації доказів. Наприклад, під час виконання множення тензорів zkPyTorch автоматично розділяє обчислювальне завдання на кілька незалежних підзадач, які потім розподіляються між кількома обробними одиницями для одночасного виконання. Ця стратегія паралелізації не лише значно покращує пропускну здатність виконання схем, але й робить ефективну верифікацію великих моделей реальністю, відкриваючи нові виміри для масштабованої ZKML.

Комплексне тестування продуктивності: подвійний прорив у продуктивності та точності

zkPyTorch демонструє виняткову продуктивність та практичну корисність у кількох основних моделях машинного навчання завдяки суворому бенчмаркінгу:

Тестування моделі VGG-16
На датасеті CIFAR-10 zkPyTorch витрачає лише 6,3 секунди на генерацію доказу VGG-16 для одного зображення, а точність майже не відрізняється від традиційних обчислень з плаваючою комою. Це підкреслює практичні можливості zkML у класичних завданнях, таких як розпізнавання зображень.

Тестування моделі Llama-3
Для великої мовної моделі Llama-3 з до 8 мільярдами параметрів, zkPyTorch досягає ефективної генерації доказів приблизно за 150 секунд на токен. Ще більш вражаюче, що її вихід зберігає косинусну подібність 99.32% у порівнянні з оригінальною моделлю, що забезпечує високу достовірність, одночасно зберігаючи семантичну узгодженість виходу моделі.

Таблиця 1: Продуктивність різних схем Доказів із нульовим розголошенням у згорткових нейронних мережах та мережах трансформерів

Широкий спектр сценаріїв застосування в реальному світі

Перевіряємий MLaaS

Оскільки вартість моделей машинного навчання продовжує зростати, дедалі більше розробників ШІ обирають розгортати свої самостійно розроблені моделі в хмарі, пропонуючи послуги MLaaS (Машинне навчання як послуга). Однак на практиці користувачі часто виявляють, що їм важко перевірити, чи є результати інференції автентичними та надійними; тим часом постачальники моделей також бажають захистити свої основні активи, такі як структура моделі та параметри, щоб запобігти крадіжці чи зловживанню.

zkPyTorch був створений для вирішення цього протиріччя: він надає хмарним AI-сервісам нативні «можливості перевірки з нульовим розголошенням», досягаючи перевірних результатів на рівні шифрування.

Як показано на малюнку 4, розробники можуть безпосередньо інтегрувати великі моделі, такі як Llama-3, у zkPyTorch для створення надійної системи MLaaS з можливостями доказу із нульовим розголошенням. Завдяки безшовній інтеграції з основним ZKP-движком, zkPyTorch може автоматично генерувати докази, не розкриваючи деталей моделі, перевіряючи, чи кожен висновок виконується правильно, таким чином встановлюючи справжню надійну інтерактивну довірчу основу для постачальників моделей та користувачів.

Рисунок 4: Сценарії застосування zkPyTorch у перевіряємому MLaaS.

Безпечний супровід оцінки моделі

zkPyTorch забезпечує безпечний і перевіряємий механізм оцінки AI моделей, що дозволяє зацікавленим сторонам обережно оцінювати ключові показники ефективності, не розкриваючи деталей моделі. Цей метод оцінки "нульового розголошення" встановлює новий стандарт довіри для AI моделей, підвищуючи ефективність комерційних угод при цьому захищаючи права інтелектуальної власності розробників. Це не тільки підвищує видимість цінності моделі, але й приносить більшу прозорість і справедливість у всю індустрію AI.

Глибока інтеграція з блокчейном EXPchain

zkPyTorch нативно інтегрується з блокчейн-мережою EXPchain, незалежно розробленою Polyhedra Network, спільно створюючи надійну децентралізовану AI інфраструктуру. Ця інтеграція забезпечує високооптимізований шлях для викликів смарт-контрактів і перевірки в ланцюгу, що дозволяє криптографічно перевіряти результати AI-інфереції та постійно зберігати їх у блокчейні.

Завдяки співпраці zkPyTorch та EXPchain, розробники можуть створювати повністю перевіряні AI-додатки, від розгортання моделі, обчислення висновків до верифікації в ланцюгу, справді реалізуючи прозорий, надійний та аудитований процес обчислення AI, забезпечуючи підґрунтя для наступного покоління додатків blockchain + AI.

Майбутня дорожня карта та безперервні інновації

Polyhedra буде продовжувати просувати еволюцію zkPyTorch, зосереджуючи увагу на наступних аспектах:

Відкритий код та спільне будівництво громади

Поступово відкривати вихідний код основних компонентів zkPyTorch, надихаючи глобальних розробників брати участь і сприяючи колективним інноваціям та екологічному процвітанню в галузі машинного навчання з нульовим розголошенням.

Розширити сумісність моделей і структур

Розширити діапазон підтримки основних моделей та фреймворків машинного навчання, додатково підвищити адаптивність та універсальність zkPyTorch, зробивши його гнучким для інтеграції в різноманітні AI-робочі процеси.

Інструменти розробки та побудова SDK

Запустіть комплексний інструментарій для розробки та набір програмного забезпечення (SDK), щоб спростити процес інтеграції та прискорити впровадження та застосування zkPyTorch у практичних бізнес-сценаріях.

Висновок

zkPyTorch є важливою віхою на шляху до надійного майбутнього штучного інтелекту. Глибока інтеграція зрілого фреймворку PyTorch з передовою технологією zk-SNARKs не тільки значно підвищує безпеку та перевірюваність машинного навчання, але й перетворює методи розгортання та межі довіри AI-додатків.

Polyhedra буде продовжувати інновації в галузі "безпечного ШІ", просуваючи машинне навчання до вищих стандартів захисту конфіденційності, перевірки результатів та відповідності моделей, допомагаючи будувати прозорі, надійні та масштабовані інтелектуальні системи.

Слідкуйте за нашими останніми оновленнями та спостерігайте, як zkPyTorch змінює майбутнє безпечної інтелектуальної ери.

Заява:

1. Ця стаття відтворена з [BLOCKBEATS] Авторське право належить оригінальному автору [Цзяхенг Чжан] Якщо у вас є заперечення щодо повторного друку, будь ласка, зв'яжіться Команда Gate LearnКоманда обробить це якомога швидше відповідно до відповідних процедур.
2. Застереження: Думки та погляди, висловлені в цій статті, є виключно думками автора і не є інвестиційною порадою.
3. Інші мовні версії статті перекладені командою Gate Learn, якщо не зазначено інше.ГейтЗа таких обставин копіювання, розповсюдження або плагіат перекладених статей не дозволяється.