Pentingnya Data Blockchain dan Kebangkitan Indeks

Inti dari teknologi Blockchain adalah data. Ini adalah batu penjuru untuk mengembangkan aplikasi terdesentralisasi (dApp). Meskipun saat ini industri lebih fokus pada ketersediaan data (DA), aksesibilitas data juga sama pentingnya namun sering diabaikan.

Di era blockchain modular, solusi DA telah menjadi bagian yang tak terpisahkan. Mereka memastikan semua peserta dapat mengakses data transaksi, sehingga memungkinkan verifikasi waktu nyata dan menjaga integritas jaringan. Namun, lapisan DA lebih mirip papan iklan daripada basis data. Ini berarti data tidak disimpan secara permanen, melainkan akan digantikan oleh data baru seiring berjalannya waktu.

Sebaliknya, aksesibilitas data lebih berfokus pada kemampuan untuk mengambil data historis, yang sangat penting untuk pengembangan dApp dan analisis blockchain. Ini sangat penting untuk tugas-tugas yang memerlukan akses ke data masa lalu untuk memastikan representasi dan eksekusi yang akurat. Meskipun diskusi tentangnya lebih sedikit, aksesibilitas data sama pentingnya dengan ketersediaan data. Keduanya memainkan peran yang berbeda namun saling melengkapi dalam ekosistem blockchain, dan pendekatan manajemen data yang komprehensif harus menangani kedua masalah ini secara bersamaan untuk mendukung aplikasi blockchain yang kuat dan efisien.

Metode Pencarian Data Blockchain Tradisional

Sejak lahir, Blockchain telah mengubah infrastruktur secara menyeluruh, mendorong penciptaan dApp di berbagai bidang seperti permainan, keuangan, dan jaringan sosial. Namun, membangun dApp ini memerlukan akses ke sejumlah besar data Blockchain, yang sulit dan mahal.

Bagi pengembang dApp, salah satu pilihan adalah meng-host dan menjalankan node RPC arsip mereka sendiri. Node ini menyimpan semua data blockchain historis, memungkinkan akses penuh. Namun, pemeliharaan node arsip sangat mahal, kemampuan kueri terbatas, dan tidak dapat meng-query data dalam format yang dibutuhkan pengembang. Meskipun menjalankan node yang lebih murah adalah pilihan, kemampuan pengambilan data dari node ini terbatas, yang dapat mempengaruhi kinerja dApp.

Metode lain adalah menggunakan penyedia node RPC komersial. Penyedia ini bertanggung jawab atas biaya dan manajemen node, menyediakan data melalui titik akhir RPC. Titik akhir RPC publik gratis tetapi memiliki batasan laju, yang dapat memengaruhi pengalaman pengguna dApp. Titik akhir RPC pribadi menawarkan kinerja yang lebih baik dengan mengurangi kemacetan, tetapi bahkan untuk pengambilan data sederhana, membutuhkan banyak komunikasi bolak-balik. Ini membuatnya berat dalam permintaan dan tidak efisien untuk kueri data yang kompleks. Selain itu, titik akhir RPC pribadi biasanya sulit untuk diskalakan dan kekurangan kompatibilitas lintas jaringan.

Blockchain Indexer: Solusi yang Lebih Baik

Indeks blockchain memainkan peran kunci dalam mengorganisir data di dalam rantai dan mengirimkannya ke basis data untuk memudahkan pencarian, sehingga sering disebut sebagai "Google dari blockchain". Mereka mengindeks data blockchain dan memanfaatkan bahasa kueri yang mirip SQL ( seperti GraphQL API ) untuk membuat data selalu tersedia. Indeks menyediakan antarmuka kueri data yang terstandardisasi, memungkinkan pengembang untuk dengan cepat dan akurat mengambil informasi yang diperlukan, yang sangat menyederhanakan proses.

Berbagai jenis pengindeks mengoptimalkan pengambilan data dengan berbagai cara:

1. Pengindeks node lengkap: Mengambil data langsung dari node blockchain lengkap, memastikan data lengkap dan akurat, tetapi memerlukan kapasitas penyimpanan dan pemrosesan yang besar.

2. Indeks ringan: Mengandalkan node lengkap untuk mendapatkan data tertentu sesuai permintaan, mengurangi kebutuhan penyimpanan tetapi mungkin meningkatkan waktu kueri.

3. Pengindeks Khusus: Mengoptimalkan pencarian untuk jenis data tertentu atau Blockchain, seperti data NFT atau transaksi DeFi.

4. Pengindeks Agregat: Mengambil data dari beberapa Blockchain dan sumber, termasuk informasi off-chain, menyediakan antarmuka kueri yang terintegrasi, sangat berguna untuk dApp multi-rantai.

Hanya Ethereum yang membutuhkan 3TB ruang penyimpanan, seiring dengan pertumbuhan blockchain, jumlah data node arsip terus meningkat. Protokol pengindeks mengerahkan beberapa pengindeks, yang dapat mengindeks dan mencari sejumlah besar data dengan efisien, sesuatu yang tidak bisa dicapai oleh RPC.

Indexer juga memungkinkan kueri kompleks, memfilter data dengan mudah, dan melakukan analisis pasca. Beberapa indexer dapat mengagregasi data dari berbagai sumber, menghindari penerapan beberapa API di dApp multi-chain. Dengan tersebar di berbagai node, indexer menawarkan keamanan dan kinerja yang lebih baik, sementara penyedia RPC mungkin mengalami gangguan dan downtime karena sifat terpusat.

Secara keseluruhan, dibandingkan dengan penyedia node RPC, pengindeks meningkatkan efisiensi dan keandalan pengambilan data, sambil mengurangi biaya untuk menerapkan satu node. Ini menjadikan protokol pengindeks blockchain sebagai pilihan utama bagi pengembang dApp.

Aplikasi Indeks

Membangun dApp memerlukan pengambilan dan pembacaan data Blockchain untuk menjalankan layanan. Ini mencakup berbagai jenis dApp, termasuk DeFi, platform NFT, permainan, bahkan jejaring sosial, karena platform-platform ini perlu membaca data terlebih dahulu sebelum menjalankan transaksi lainnya.

DeFi

Protokol DeFi memerlukan informasi yang berbeda untuk memberikan harga, rasio, dan biaya tertentu kepada pengguna. Automated Market Maker (AMM) memerlukan informasi harga dan likuiditas dari pool untuk menghitung suku bunga swap, sementara protokol pinjaman memerlukan tingkat pemanfaatan untuk menentukan suku bunga pinjaman dan rasio utang untuk likuidasi. Memasukkan informasi ke dalam dApp sebelum menghitung suku bunga yang dieksekusi pengguna adalah hal yang penting.

Permainan

GameFi membutuhkan pengindeksan dan akses data yang cepat untuk memastikan pengalaman bermain game yang lancar bagi pengguna. Hanya dengan pencarian dan eksekusi data yang cepat, permainan Web3 dapat bersaing secara kinerja dengan permainan Web2, sehingga menarik lebih banyak pengguna. Permainan ini memerlukan data seperti kepemilikan tanah, saldo token dalam permainan, dan operasi dalam permainan. Menggunakan pengindeks dapat lebih baik menjamin aliran data yang stabil dan waktu operasi yang stabil, memastikan pengalaman bermain yang sempurna.

NFT

Pasar NFT dan platform pinjaman memerlukan indeks data untuk mengakses berbagai informasi, seperti metadata NFT, data kepemilikan dan transfer, informasi royalti, dll. Mengindeks data semacam ini dengan cepat dapat menghindari penelusuran setiap NFT satu per satu untuk menemukan data kepemilikan atau atribut.

Analisis

Indexer menyediakan cara untuk mengekstrak data spesifik dari data blockchain asli ( yang mencakup peristiwa kontrak pintar dalam setiap blok ). Ini memberikan peluang untuk analisis data yang lebih spesifik, sehingga memberikan wawasan yang komprehensif.

Misalnya, protokol perdagangan berkelanjutan dapat mengidentifikasi token mana yang memiliki volume perdagangan tinggi dan menghasilkan biaya, sehingga memutuskan apakah akan mencantumkannya sebagai kontrak berkelanjutan di platform. Pengembang DEX dapat membuat dasbor untuk produk mereka sendiri, untuk mendapatkan wawasan mendalam tentang kolam dana mana yang memiliki tingkat pengembalian tertinggi atau likuiditas terkuat. Mereka juga dapat membuat dasbor publik, memungkinkan pengembang untuk dengan bebas dan fleksibel mengquery jenis data apa pun yang ingin ditampilkan di grafik.

Ringkasan Indeks Utama Blockchain

The Graph

The Graph adalah protokol pengindeks yang pertama kali diluncurkan di Ethereum, yang memungkinkan untuk dengan mudah mengquery data transaksi yang sebelumnya sulit diakses. Ini menggunakan subgraf untuk mendefinisikan dan memfilter subset data yang dikumpulkan dari blockchain, seperti semua transaksi yang terkait dengan kumpulan transaksi tertentu.

Dengan menggunakan bukti indeks, penyedia indeks mempertaruhkan token asli GRT untuk layanan indeks dan kueri, dan delegator dapat memilih untuk mempertaruhkan token di sini. Kurator dapat mengakses subgraf berkualitas tinggi, membantu penyedia indeks menentukan subgraf mana yang harus disiapkan datanya untuk mendapatkan biaya kueri terbaik. Dalam proses transisi menuju desentralisasi yang lebih besar, The Graph pada akhirnya akan menghentikan layanan hosting, meminta subgraf untuk meningkatkan ke jaringannya, sambil menyediakan penyedia indeks yang ditingkatkan.

Infrastruktur ini membuat biaya rata-rata per satu juta permintaan mencapai 40 dolar, jauh lebih rendah dibandingkan dengan node yang dihosting sendiri. Dengan menggunakan sumber data file, ia juga mendukung pengindeksan paralel untuk data on-chain dan off-chain secara bersamaan, mencapai pencarian data yang efisien.

Hadiah pengindeks The Graph telah meningkat secara stabil dalam beberapa kuartal terakhir, sebagian karena peningkatan jumlah kueri, juga disebabkan oleh kenaikan harga token, mereka berencana untuk mengintegrasikan kueri yang dibantu AI di masa depan.

Subsquid

Subsquid adalah danau data terdesentralisasi yang dapat diskalakan secara horizontal dan peer-to-peer, yang dapat menggabungkan sejumlah besar data on-chain dan off-chain secara efisien, dan dilindungi oleh bukti nol-pengetahuan. Sebagai jaringan pekerja terdesentralisasi, setiap node bertanggung jawab untuk menyimpan subset data dari blok tertentu, mempercepat proses pengambilan dengan mengenali node yang menyimpan data yang diperlukan dengan cepat.

Subsquid mendukung pengindeksan waktu nyata, memungkinkan pengindeksan sebelum blok dipastikan. Ini juga mendukung penyimpanan data dalam format yang dipilih oleh pengembang, memudahkan analisis menggunakan alat seperti BigQuery, Parquet, atau CSV. Selain itu, subgraf dapat diterapkan tanpa kode di jaringan Subsquid tanpa perlu migrasi ke Squid SDK.

Meskipun masih dalam tahap jaringan pengujian, Subsquid telah mencapai hasil yang signifikan, dengan lebih dari 80.000 pengguna jaringan pengujian, lebih dari 60.000 pengindeks Squid yang diterapkan, dan lebih dari 20.000 pengembang verifikasi di jaringan. Baru-baru ini, Subsquid telah meluncurkan jaringan utama danau datanya.

Selain indeks, danau data Subsquid Network juga dapat menggantikan RPC dalam skenario seperti analisis, ZK/TEE co-processor, agen AI, dan oracle.

SubQuery

SubQuery adalah jaringan infrastruktur middleware terdesentralisasi yang menyediakan layanan RPC dan pengindeksan data. Awalnya mendukung jaringan Polkadot dan Substrate, kini telah berkembang ke lebih dari 200 rantai. Cara kerjanya mirip dengan The Graph yang menggunakan bukti pengindeksan, di mana pengindeks mengindeks data dan menyediakan permintaan kueri, sementara delegator mempertaruhkan saham mereka kepada pengindeks. Ini memperkenalkan konsumen untuk mengajukan pesanan pembelian, menunjukkan bahwa pendapatan pengindeks terjamin, bukan pengelola.

Ini akan memperkenalkan node data SubQuery yang mendukung sharding, mencegah sinkronisasi data baru yang terus-menerus antar node, mengoptimalkan efisiensi kueri, sambil menuju desentralisasi yang lebih besar. Pengguna dapat memilih untuk membayar biaya komputasi sekitar 1 SQT token per seribu permintaan, atau menetapkan biaya kustom untuk pengindeks melalui protokol.

Meskipun SubQuery baru meluncurkan token tahun ini, imbalan penerbitan untuk node dan delegator meningkat dalam nilai dolar secara bulanan, yang menunjukkan jumlah layanan query yang ditawarkan di platformnya terus meningkat. Sejak TGE, total SQT yang dipertaruhkan meningkat dari 6 juta menjadi 125 juta, yang menekankan pertumbuhan partisipasi jaringan.

Covalent

Covalent adalah jaringan indeks terdesentralisasi, yang dibuat oleh produsen sampel blok (BSP) dan node jaringan yang mengekspor data blockchain dalam jumlah besar untuk membuat salinan data blockchain, dan menerbitkan bukti di blockchain Covalent L1. Data ini kemudian disempurnakan oleh produsen hasil blok (BRP) yang menyaring data yang memenuhi syarat sesuai dengan aturan.

Dengan API yang terintegrasi, pengembang dapat dengan mudah mengekstrak data Blockchain yang relevan dalam format yang konsisten tanpa perlu menulis kueri yang rumit untuk mengakses data. Token CQT yang diselesaikan di Moonbeam dapat digunakan untuk mengekstrak kumpulan data yang telah dikonfigurasi sebelumnya dari penyedia jaringan.

Hadiah Covalent menunjukkan tren pertumbuhan dari kuartal pertama 23 tahun hingga kuartal pertama 24 tahun, sebagian disebabkan oleh kenaikan harga CQT.

Faktor-faktor yang perlu dipertimbangkan dalam memilih pengindeks

Kustomisasi Data

Beberapa pengindeks ( seperti Covalent ) adalah pengindeks umum yang hanya menyediakan kumpulan data yang telah dikonfigurasi sebelumnya melalui API. Meskipun cepat, tetapi kurang fleksibel dan tidak dapat memenuhi kebutuhan pengembang yang memerlukan kumpulan data yang disesuaikan. Menggunakan kerangka pengindeks memungkinkan pengolahan data yang lebih disesuaikan untuk memenuhi kebutuhan aplikasi tertentu.

Keamanan

Data indeks harus aman, jika tidak, dApp yang dibangun berdasarkan indeks tersebut juga rentan terhadap serangan. Jika transaksi dan saldo dompet dapat dimanipulasi, dApp dapat kehilangan likuiditas, mempengaruhi pengguna. Meskipun semua indeks menggunakan bentuk keamanan tertentu melalui token yang dipertaruhkan, solusi lain mungkin menggunakan bukti tambahan untuk meningkatkan keamanan.

Subsquid menyediakan opsi optimis dan bukti pengetahuan nol, Covalent merilis bukti yang mencakup nilai hash blok. Graph menawarkan periode tantangan optimis untuk kueri pengindeks, SubQuery menghasilkan bukti Merkle Mountain untuk setiap blok, menghitung nilai hash blok untuk semua data di database-nya.

Kecepatan dan Skalabilitas

Seiring pertumbuhan Blockchain, jumlah transaksi meningkat, pengindeksan sejumlah besar data menjadi lebih rumit, memerlukan lebih banyak daya pemrosesan dan ruang penyimpanan. Mempertahankan efisiensi menjadi lebih sulit, tetapi protokol pengindeks memperkenalkan solusi untuk memenuhi kebutuhan pertumbuhan ini.

Subsquid melakukan skala horizontal dengan menambahkan lebih banyak node untuk menyimpan data, dan dapat diskalakan seiring dengan peningkatan perangkat keras. Graph menyediakan aliran data paralel untuk mempercepat sinkronisasi, SubQuery memperkenalkan pemotongan node untuk mempercepat proses sinkronisasi.

Jaringan yang Didukung

Meskipun sebagian besar aktivitas blockchain masih berlangsung di Ethereum, seiring berjalannya waktu, berbagai blockchain semakin populer. Layer 2, Solana, blockchain Move, dan ekosistem Bitcoin semuanya memiliki pengembang dan aktivitas yang terus berkembang, dan juga memerlukan layanan pengindeksan.

Mendukung beberapa rantai yang tidak didukung oleh protokol pengindeks lainnya dapat memperoleh lebih banyak pangsa pasar biaya. Jaringan data pengindeks yang padat ( seperti Solana) bukanlah hal yang mudah, saat ini hanya Subsquid yang berhasil memberikan dukungan pengindeks untuknya.

![Pengembangan Akses Data Web3: Indeks