L'importance des données de Blockchain et l'essor des indexeurs

Le cœur de la technologie Blockchain réside dans les données. C'est la pierre angulaire du développement d'applications décentralisées (dApp). Bien que l'industrie se concentre principalement sur la disponibilité des données (DA), l'accessibilité des données est tout aussi importante mais souvent négligée.

À l'ère des blockchains modulaires, les solutions DA sont devenues une partie intégrante. Elles garantissent que tous les participants peuvent accéder aux données des transactions, permettant ainsi une validation en temps réel et le maintien de l'intégrité du réseau. Cependant, la couche DA ressemble davantage à un panneau d'affichage qu'à une base de données. Cela signifie que les données ne sont pas stockées de manière permanente, mais sont remplacées par de nouvelles données au fil du temps.

En comparaison, l'accessibilité des données se concentre sur la capacité à récupérer des données historiques, ce qui est crucial pour le développement d'applications décentralisées (dApp) et l'analyse de la Blockchain. Cela est particulièrement important pour les tâches qui nécessitent l'accès à des données passées afin d'assurer une représentation et une exécution précises. Bien que ce sujet soit moins discuté, l'accessibilité des données est tout aussi importante que la disponibilité des données. Les deux jouent des rôles différents mais complémentaires dans l'écosystème de la Blockchain, une approche de gestion des données complète doit aborder ces deux questions afin de soutenir des applications Blockchain robustes et efficaces.

Méthodes traditionnelles de recherche de données sur la Blockchain

Depuis sa création, la Blockchain a complètement transformé les infrastructures, favorisant la création de dApps dans des domaines tels que les jeux, la finance et les réseaux sociaux. Cependant, la construction de ces dApps nécessite l'accès à une grande quantité de données Blockchain, ce qui est à la fois difficile et coûteux.

Pour les développeurs de dApp, une option consiste à héberger et à faire fonctionner leurs propres nœuds RPC d'archive. Ces nœuds stockent toutes les données historiques de la blockchain, permettant un accès complet. Cependant, le coût de maintenance des nœuds d'archive est élevé et la capacité de requête est limitée, ce qui empêche de requêter les données dans le format souhaité par les développeurs. Bien que faire fonctionner des nœuds moins chers soit une option, la capacité de récupération des données de ces nœuds est limitée, ce qui peut affecter le fonctionnement de la dApp.

Une autre méthode consiste à utiliser des fournisseurs de nœuds RPC commerciaux. Ces fournisseurs sont responsables des coûts et de la gestion des nœuds, fournissant des données via des points de terminaison RPC. Les points de terminaison RPC publics sont gratuits mais sont soumis à des limites de taux, ce qui peut affecter l'expérience utilisateur de l'application décentralisée (dApp). Les points de terminaison RPC privés offrent de meilleures performances en réduisant la congestion, mais même la récupération de données simples nécessite de nombreuses communications aller-retour. Cela les rend lourds en demandes et inefficaces pour les requêtes de données complexes. De plus, les points de terminaison RPC privés sont souvent difficiles à mettre à l'échelle et manquent de compatibilité inter-réseaux.

Blockchain Indexer : Une solution améliorée

Les indexeurs de blockchain jouent un rôle clé dans l'organisation des données sur la chaîne et leur envoi à une base de données pour faciliter les requêtes, c'est pourquoi ils sont souvent appelés "Google de la blockchain". Ils indexent les données de la blockchain et utilisent un langage de requête similaire à SQL ( tel que l'API GraphQL ) pour rendre les données accessibles à tout moment. Les indexeurs offrent une interface de requête de données unifiée, permettant aux développeurs de récupérer rapidement et avec précision les informations nécessaires à l'aide d'un langage de requête standardisé, simplifiant ainsi considérablement le processus.

Différents types d'indexeurs optimisent la récupération des données de diverses manières :

1. Indexeur de nœuds complets : extrait les données directement des nœuds complets de la Blockchain, garantissant que les données sont complètes et précises, mais nécessitant une grande capacité de stockage et de traitement.

2. Indexeur léger : s'appuie sur les nœuds complets pour obtenir des données spécifiques à la demande, réduisant ainsi les besoins de stockage mais pouvant augmenter le temps de requête.

3. Indexeur dédié : Optimisation des recherches pour des types de données ou de Blockchain spécifiques, comme les données NFT ou les transactions DeFi.

4. Agrégateur d'index : extrait des données de plusieurs Blockchains et sources, y compris des informations off-chain, offrant une interface de requête unifiée, particulièrement utile pour les dApps multi-chaînes.

Il faut 3 To d'espace de stockage rien que pour Ethereum, et avec la croissance de la blockchain, la quantité de données des nœuds d'archive augmente constamment. Le protocole d'indexation déploie plusieurs indexeurs, permettant d'indexer efficacement et de requêter rapidement une grande quantité de données, ce que le RPC ne peut pas réaliser.

L'indexeur permet également des requêtes complexes, un filtrage facile des données et une analyse postérieure. Certains indexeurs peuvent agréger des données provenant de plusieurs sources, évitant ainsi le déploiement de plusieurs API dans des dApps multichaînes. En étant réparti sur plusieurs nœuds, l'indexeur offre une sécurité et des performances améliorées, alors que les fournisseurs RPC peuvent rencontrer des interruptions et des temps d'arrêt en raison de leur nature centralisée.

Dans l'ensemble, par rapport aux fournisseurs de nœuds RPC, les indexeurs améliorent l'efficacité et la fiabilité de la récupération des données, tout en réduisant le coût de déploiement d'un nœud unique. Cela fait du protocole d'indexeur Blockchain le choix privilégié des développeurs de dApp.

Cas d'utilisation des indexeurs

La construction d'une dApp nécessite de récupérer et de lire les données de la Blockchain pour faire fonctionner le service. Cela inclut divers types de dApps, y compris DeFi, plateformes NFT, jeux et même réseaux sociaux, car ces plateformes ont besoin de lire les données avant d'exécuter d'autres transactions.

DeFi

Les protocoles DeFi nécessitent différentes informations pour fournir aux utilisateurs des prix, des taux et des frais spécifiques. Les teneurs de marché automatiques (AMM) ont besoin d'informations sur les prix et la liquidité des pools de liquidités pour calculer les taux de swap, tandis que les protocoles de prêt doivent utiliser le taux d'utilisation pour déterminer les taux d'intérêt des prêts et le ratio de dette à liquider. Avant de calculer les taux exécutés par l'utilisateur, il est essentiel d'entrer les informations dans le dApp.

Jeu

GameFi nécessite un indexage rapide et un accès aux données pour garantir une expérience de jeu fluide pour les utilisateurs. Ce n'est qu'à travers une récupération et une exécution rapides des données que les jeux Web3 peuvent rivaliser en termes de performance avec les jeux Web2, attirant ainsi plus d'utilisateurs. Ces jeux ont besoin de données telles que la propriété de terrain, le solde de jetons en jeu, et les opérations en jeu. L'utilisation d'indexeurs peut mieux garantir un flux de données stable et un temps de fonctionnement stable, assurant une expérience de jeu parfaite.

NFT

Les marchés NFT et les plateformes de prêt nécessitent des données d'indexation pour accéder à diverses informations, telles que les métadonnées NFT, les données de propriété et de transfert, les informations sur les redevances, etc. L'indexation rapide de ces données peut éviter de parcourir chaque NFT un par un pour trouver les données de propriété ou d'attribut.

Analyse

L'indexeur fournit une méthode pour extraire des données spécifiques à partir des données brutes de la blockchain (, y compris les événements de contrat intelligent dans chaque bloc ). Cela offre une opportunité pour une analyse de données plus spécifique, fournissant ainsi des perspectives complètes.

Par exemple, un protocole de trading perpétuel peut identifier quels jetons ont un grand volume de transactions et génèrent des frais, afin de décider s'ils doivent être listés comme contrats à terme sur la plateforme. Les développeurs de DEX peuvent créer des tableaux de bord pour leurs produits, afin d'analyser en profondeur quels pools de liquidités offrent les meilleurs rendements ou la plus grande liquidité. Ils peuvent également créer des tableaux de bord publics, permettant aux développeurs de consulter librement et de manière flexible tout type de données à afficher sur les graphiques.

Aperçu des principaux indexeurs de Blockchain

The Graph

The Graph est le premier protocole d'indexation lancé sur Ethereum, permettant de rechercher facilement des données de transaction qui étaient auparavant difficiles d'accès. Il utilise des sous-graphes pour définir et filtrer les sous-ensembles de données collectées depuis la Blockchain, comme toutes les transactions liées à un certain pool de transactions.

En utilisant la preuve d'index, les indexeurs mettent en jeu le jeton natif GRT pour les services d'indexation et de requête, et les délégués peuvent choisir de mettre en jeu des jetons ici. Les conservateurs peuvent accéder à des sous-graphes de haute qualité, aidant les indexeurs à déterminer pour quels sous-graphes compiler des données afin de gagner les meilleurs frais de requête. Dans le processus de transition vers une plus grande décentralisation, The Graph finira par cesser ses services d'hébergement, exigeant que les sous-graphes soient mis à niveau vers son réseau, tout en offrant des indexeurs de mise à niveau.

Son infrastructure permet de réduire le coût moyen à 40 dollars pour un million de requêtes, bien en dessous de celui des nœuds auto-hébergés. En utilisant des sources de données de fichiers, il prend également en charge l'indexation parallèle des données à la fois on-chain et off-chain, permettant une récupération efficace des données.

Les récompenses des indexeurs de The Graph ont augmenté régulièrement au cours des derniers trimestres, en partie en raison de l'augmentation du volume des requêtes, mais aussi à cause de la hausse des prix des tokens. Ils prévoient d'intégrer des requêtes assistées par l'IA à l'avenir.

Subsquid

Subsquid est un lac de données décentralisé, peer-to-peer et horizontalement évolutif, capable d'agréger efficacement de grandes quantités de données on-chain et off-chain, tout en étant protégé par des preuves à divulgation nulle de connaissance. En tant que réseau de travailleurs décentralisé, chaque nœud est responsable du stockage d'un sous-ensemble spécifique de données de blocs, accélérant ainsi le processus de récupération en identifiant rapidement les nœuds qui conservent les données nécessaires.

Subsquid prend en charge l'indexation en temps réel, permettant l'indexation avant la finalisation du bloc. Il prend également en charge le stockage des données dans le format choisi par le développeur, facilitant l'analyse à l'aide d'outils tels que BigQuery, Parquet ou CSV. De plus, les sous-graphes peuvent être déployés sans code sur le réseau Subsquid, sans avoir besoin de migrer vers le Squid SDK.

Bien qu'il soit encore en phase de test, Subsquid a réalisé des résultats significatifs, avec plus de 80 000 utilisateurs sur le réseau de test, plus de 60 000 indexeurs Squid déployés et plus de 20 000 développeurs validateurs sur le réseau. Récemment, Subsquid a lancé son réseau principal de lac de données.

En plus de l'indexation, le lac de données de Subsquid Network peut également remplacer les RPC dans des scénarios tels que l'analyse, les coprocesseurs ZK/TEE, les agents IA et les oracles.

SubQuery

SubQuery est un réseau d'infrastructure intermédiaire décentralisé qui fournit des services RPC et d'indexation des données. Initialement pris en charge par les réseaux Polkadot et Substrate, il s'est maintenant étendu à plus de 200 chaînes. Son fonctionnement est similaire à celui de The Graph utilisant des preuves d'indexation, où les indexeurs indexent des données et fournissent des requêtes de recherche, tandis que les délégataires mettent en jeu leurs parts auprès des indexeurs. Il introduit des consommateurs pour soumettre des commandes d'achat, indiquant que les revenus des indexeurs sont garantis, et non par les gestionnaires.

Il introduira des nœuds de données SubQuery prenant en charge le sharding, empêchant la synchronisation continue de nouvelles données entre les nœuds, optimisant ainsi l'efficacité des requêtes, tout en se dirigeant vers une plus grande décentralisation. Les utilisateurs peuvent choisir de payer environ 1 SQT de frais de calcul par millier de requêtes, ou de définir des frais personnalisés pour l'indexeur via le protocole.

Bien que SubQuery n'ait lancé son jeton que cette année, les récompenses de distribution pour les nœuds et les délégataires ont augmenté en valeur en dollars, représentant une augmentation constante du nombre de services de requête offerts sur sa plateforme. Depuis le TGE, le montant total de SQT mis en jeu est passé de 6 millions à 125 millions, soulignant l'augmentation de la participation au réseau.

Covalent

Covalent est un réseau d'indexeurs décentralisé, où des producteurs d'échantillons de blocs (BSP) créent des copies des données de la Blockchain en exportant en masse à travers des nœuds du réseau, et publient des preuves sur la Blockchain L1 de Covalent. Ces données sont ensuite affinées par des producteurs de résultats de blocs (BRP) selon des règles, filtrant les données conformes aux exigences.

Grâce à une API unifiée, les développeurs peuvent facilement extraire des données Blockchain pertinentes dans un format cohérent, sans avoir à écrire de requêtes complexes pour accéder aux données. Des jeux de données préconfigurés peuvent être extraits auprès des opérateurs de réseau en utilisant le jeton CQT réglé sur Moonbeam.

Les récompenses de Covalent ont montré une tendance à la hausse de la première trimestre de 2023 à la première trimestre de 2024, en partie en raison de l'augmentation du prix de CQT.

Facteurs à considérer lors du choix d'un indexeur

Personnalisation des données

Certains indexeurs ( comme Covalent ) sont des indexeurs génériques, fournissant uniquement des ensembles de données préconfigurés standard via l'API. Bien qu'ils soient rapides, ils manquent de flexibilité et ne peuvent pas répondre aux développeurs ayant besoin d'ensembles de données personnalisés. L'utilisation d'un cadre d'indexation permet un traitement des données plus personnalisé afin de répondre aux besoins spécifiques des applications.

Sécurité

Les données d'index doivent être sécurisées, sinon les dApps construites sur ces indexeurs peuvent également être vulnérables. Si les transactions et les soldes de portefeuille peuvent être manipulés, la dApp peut perdre sa liquidité, affectant ainsi les utilisateurs. Bien que tous les indexeurs adoptent une certaine forme de sécurité grâce à des jetons stakés, d'autres solutions peuvent utiliser des preuves supplémentaires pour améliorer la sécurité.

Subsquid offre des options de preuve optimiste et de preuve à zéro connaissance, Covalent publie des preuves contenant des valeurs de hachage de bloc. The Graph propose une fenêtre de défi optimiste pour les requêtes d'indexeur, SubQuery génère des preuves Merkle Mountain pour chaque bloc, calculant la valeur de hachage de chaque bloc dans sa base de données.

Vitesse et évolutivité

Avec la croissance de la Blockchain, l'augmentation du volume des transactions rend l'indexation d'une grande quantité de données plus complexe, nécessitant plus de puissance de traitement et d'espace de stockage. Maintenir l'efficacité devient plus difficile, mais le protocole d'indexation introduit des solutions pour répondre à ces besoins croissants.

Subsquid réalise une extension horizontale en stockant des données en ajoutant davantage de nœuds, et peut s'étendre avec l'amélioration du matériel. Graph fournit des flux de données parallèles pour accélérer la synchronisation, SubQuery introduit le sharding des nœuds pour accélérer le processus de synchronisation.

Réseaux pris en charge

Bien que la majorité des activités de blockchain se déroulent encore sur Ethereum, au fil du temps, différentes blockchains gagnent en popularité. Les Layer 2, Solana, la blockchain Move et la chaîne de l'écosystème Bitcoin ont toutes leurs propres développeurs et activités en constante augmentation, et nécessitent également des services d'indexation.

Le soutien pour certaines chaînes qui ne sont pas prises en charge par d'autres protocoles d'indexation peut offrir des frais de part de marché supplémentaires. Indexer des réseaux intensifs en données comme Solana( n'est pas une tâche facile, et pour l'instant, seul Subsquid a réussi à fournir un support d'indexation pour cela.

![Développement de l'accès aux données Web3 : Indexeur