区块链数据的重要性及索引器的崛起

区块链技术的核心在于数据。它是开发去中心化应用程序(dApp)的基石。虽然目前业界主要关注数据可用性(DA)，但数据可访问性同样重要却常被忽视。

在模块化区块链时代，DA解决方案已成为不可或缺的一部分。它们确保所有参与者都能获取交易数据,从而实现实时验证并维护网络完整性。然而，DA层更像是一个广告牌而非数据库。这意味着数据不会永久存储，而是会随时间被新数据替代。

相比之下，数据可访问性则侧重于检索历史数据的能力，这对开发dApp和进行区块链分析至关重要。它对需要访问过往数据以确保准确表示和执行的任务尤为重要。尽管讨论较少，但数据可访问性与数据可用性同等重要。两者在区块链生态系统中扮演着不同但互补的角色，全面的数据管理方法必须同时解决这两个问题，以支持强大而高效的区块链应用。

传统区块链数据检索方式

自诞生以来，区块链彻底改变了基础设施，推动了游戏、金融和社交网络等领域dApp的创建。然而，构建这些dApp需要访问大量区块链数据，这既困难又昂贵。

对dApp开发者而言，一种选择是托管和运行自己的存档RPC节点。这些节点存储全部历史区块链数据，允许完全访问。但维护存档节点成本高昂，查询能力有限，无法以开发人员所需格式查询数据。虽然运行较便宜的节点是一种选择，但这些节点的数据检索能力有限，可能会影响dApp的运行。

另一种方法是使用商业RPC节点提供商。这些提供商负责节点的成本和管理，通过RPC端点提供数据。公共RPC端点免费但有速率限制，可能影响dApp的用户体验。私有RPC端点通过减少拥塞提供更好性能，但即使简单数据检索也需要大量来回通信。这使得它们请求繁重，对复杂数据查询效率低下。此外，私有RPC端点通常难以扩展，缺乏跨网络兼容性。

区块链索引器：更优解决方案

区块链索引器在组织链上数据并将其发送到数据库以便于查询方面发挥着关键作用，因此常被称为"区块链的谷歌"。它们通过索引区块链数据并利用类似SQL的查询语言(如GraphQL API)使数据随时可用。索引器提供统一的数据查询界面，允许开发人员使用标准化查询语言快速准确地检索所需信息，大大简化了流程。

不同类型的索引器通过各种方式优化数据检索：

1. 完整节点索引器：直接从完整区块链节点提取数据，确保数据完整准确，但需要大量存储和处理能力。

2. 轻量级索引器：依靠完整节点按需获取特定数据，减少存储需求但可能增加查询时间。

3. 专用索引器：针对特定类型数据或区块链优化检索，如NFT数据或DeFi交易。

4. 聚合索引器：从多个区块链和来源提取数据，包括链下信息，提供统一查询界面，对多链dApp特别有用。

仅以太坊就需要3TB存储空间，随区块链增长，存档节点数据量不断增加。索引器协议部署多个索引器，可高效索引和高速查询大量数据，这是RPC无法实现的。

索引器还允许进行复杂查询、轻松过滤数据并进行后分析。一些索引器可聚合多源数据，避免在多链dApp中部署多个API。通过分布在多节点上，索引器提供增强的安全性和性能，而RPC提供商可能因集中特性出现中断和停机。

总体而言，与RPC节点提供商相比，索引器提高了数据检索的效率和可靠性，同时降低了部署单个节点的成本。这使区块链索引器协议成为dApp开发人员的首选。

索引器的应用场景

构建dApp需要检索和读取区块链数据才能运行服务。这涵盖了各类dApp，包括DeFi、NFT平台、游戏甚至社交网络，因为这些平台需要先读取数据才能执行其他交易。

DeFi

DeFi协议需要不同信息来为用户提供特定价格、比率和费用。自动做市商(AMM)需要资金池的价格和流动性信息来计算掉期利率，借贷协议则需要利用率来确定借贷利率和清算的债务比率。在计算用户执行的利率前，将信息输入dApp是必不可少的。

游戏

GameFi需要快速索引和访问数据，以确保用户流畅游戏体验。只有通过迅速的数据检索和执行，Web3游戏才能在性能上与Web2游戏媲美，从而吸引更多用户。这些游戏需要土地所有权、游戏内代币余额、游戏内操作等数据。使用索引器可以更好地保证稳定的数据流和稳定的运行时间，确保完美的游戏体验。

NFT

NFT市场和借贷平台需要索引数据来访问各种信息，如NFT元数据、所有权和转让数据、版税信息等。快速索引此类数据可避免逐个浏览每个NFT以查找所有权或属性数据。

分析

索引器提供了一种从原始区块链数据(包括每个区块中的智能合约事件)中提取特定数据的方法。这为更具体的数据分析提供了机会，从而提供全面的见解。

例如，永续交易协议可以找出哪些代币交易量大、产生费用，从而决定是否将其作为永续合约列在平台上。DEX开发人员可以为自己的产品创建仪表板，深入了解哪些资金池回报率最高或流动性最强。还可以创建公共仪表板，让开发人员自由灵活地查询要在图表上显示的任何类型数据。

主要区块链索引器概述

The Graph

The Graph是最早在以太坊上启动的索引器协议，可轻松查询以前难以访问的交易数据。它使用子图定义和过滤从区块链收集的数据子集，如与某特定交易池相关的所有交易。

使用索引证明，索引器质押原生代币GRT用于索引和查询服务，委托人可选择将代币质押于此。策展人可访问高质量子图，帮助索引器确定要为哪些子图编制数据以赚取最佳查询费用。在向更大程度去中心化过渡过程中，The Graph最终将停止托管服务，要求子图升级到其网络，同时提供升级索引器。

其基础设施使每百万次查询的平均成本达到40美元，远低于自托管节点。使用文件数据源，它还支持同时对链上和链下数据进行并行索引，实现高效数据检索。

The Graph的索引器奖励近几个季度稳步增长，部分由于查询量增加，也归因于代币价格上涨，他们计划未来整合AI辅助查询。

Subsquid

Subsquid是点对点、水平可扩展的去中心化数据湖，可高效聚合大量链上和链下数据，并通过零知识证明保护。作为去中心化工作器网络，每个节点负责存储特定区块子集的数据，通过快速识别保存所需数据的节点来加快检索过程。

Subsquid支持实时索引，允许在区块最终确定前进行索引。它还支持以开发人员选择的格式存储数据，便于使用BigQuery、Parquet或CSV等工具进行分析。此外，子图可在Subsquid网络上无代码部署，无需迁移到Squid SDK。

虽仍处测试网阶段，Subsquid已取得显著成果，拥有超8万测试网用户，部署超6万Squid索引器，网络上有2万多验证开发者。近期Subsquid启动了其数据湖主网。

除索引外，Subsquid Network数据湖还可替代分析、ZK/TEE协处理器、AI代理和预言机等场景中的RPC。

SubQuery

SubQuery是去中心化中间件基础设施网络，提供RPC和索引数据服务。最初支持Polkadot和Substrate网络，现已扩展至200多条链。其工作原理类似使用索引证明的The Graph，索引器索引数据并提供查询请求，委托人将股份质押给索引器。它引入了消费者来提交购买订单，表明索引器收入有保障，而非管理者。

它将引入支持分片的SubQuery数据节点，防止节点间不断同步新数据，优化查询效率，同时走向更大去中心化。用户可选择按每千次请求支付约1 SQT代币的计算费用，或通过协议为索引器设置自定义费用。

尽管SubQuery今年才推出代币，但节点和委托人的发行奖励以美元价值环比增长，代表其平台上提供的查询服务数量不断增加。自TGE以来，质押的SQT总量从600万增至1.25亿，凸显网络参与度增长。

Covalent

Covalent是去中心化索引器网络，由区块样本生产者(BSP)网络节点通过批量导出创建区块链数据副本，并在Covalent L1区块链上发布证明。这些数据再由区块结果生产者(BRP)节点根据规则细化，筛选出符合要求的数据。

通过统一API，开发人员可轻松以一致格式提取相关区块链数据，无需编写复杂查询即可访问数据。可使用在Moonbeam上结算的CQT代币从网络运营商处提取预配置数据集。

Covalent的奖励从23年第一季度到24年第一季度总体呈增长趋势，部分原因是CQT价格上涨。

选择索引器的考虑因素

数据可定制性

一些索引器(如Covalent)是通用索引器，仅通过API提供标准预配置数据集。虽快速但缺乏灵活性，无法满足需要自定义数据集的开发者。使用索引器框架允许更多自定义数据处理，以满足特定应用需求。

安全性

索引数据必须安全，否则基于这些索引器构建的dApp也易受攻击。如果交易和钱包余额可被操纵，dApp可能失去流动性，影响用户。虽所有索引器都通过质押代币采用某种安全形式，但其他解决方案可能使用额外证明提高安全性。

Subsquid提供乐观和零知识证明选项，Covalent发布包含区块哈希值的证明。Graph针对索引器查询提供乐观挑战窗口期，SubQuery为每个区块生成Merkle Mountain证明，计算其数据库中所有数据的每个区块哈希值。

速度和可扩展性

随区块链增长，交易量增加，索引大量数据变得更繁琐，需要更多处理能力和存储空间。保持效率变得更困难，但索引器协议引入解决方案满足这些增长需求。

Subsquid通过添加更多节点存储数据实现水平扩展，随硬件改进能够扩展。Graph提供并行流数据以加快同步，SubQuery引入节点分片加速同步过程。

支持的网络

虽大部分区块链活动仍在以太坊进行，但随时间推移，不同区块链越来越受欢迎。Layer 2、Solana、Move区块链和比特币生态系统链都有自己不断增长的开发者和活动，也需要索引服务。

为其他索引器协议不支持的某些链提供支持可获得更多市场份额费用。索引数据密集型网络(如Solana)并非易事，目前只有Subsquid成功为其提供索引支持。

![Web3数据访问的发展：索引器