从数据分析和密码学角度看区块链的未来

编者按：区块链技术是近年来的热门话题。无论是比特币、以太坊等加密货币价格的剧烈波动，还是各国政府机构对区块链技术的大力研发投入，都预示着区块链技术已经处于“风口浪尖”的风口浪尖。次。本文从数据分析和密码学的角度，结合微软亚洲研究院可信系统研究组近期发表的两篇论文，介绍了区块链技术的现状和技术趋势。

区块链是一个复杂的点对点系统，既包括技术部分（如网络、密码学、虚拟机等），也包括对生态系统中各种角色的决策（如攻击者、共识维护者是矿工、交易所） ， ETC。）。比如区块链中的节点需要按照技术部分进行操作，同时也可以根据自己的利益，做出相应的决策，对区块链系统产生积极或消极的影响。

微软亚洲研究院可信系统研究组多年来一直在探索区块链技术的前沿发展，在技术部分和生态部分进行了长期的研究。因此，可信系统研究组的研究人员从技术和生态的角度阐述了区块链技术的相关现状和未来趋势：1、生态部分，从数据分析的角度，研究行为和发展趋势; 2、技术板块，通过研究最流行的密码学技术之一——零知识证明，探索它如何更高效地服务于区块链系统。

数据分析——以太坊前三大矿池拥有53%的算力

区块链系统以“不可伪造”、“全可追溯”、“可追溯、公开透明、集体维护”等特点而闻名业界，在金融、供应链管理、和医疗保健也在利用其特性积极部署区块链系统，但在基于工作量证明（PoW）共识的区块链系统中，仍然存在威胁到区块链安全的“51%算力攻击”。系统。51%的算力，那么就有可能“颠覆”系统。

实际上，顶级矿池控制着大量的算力，也有可能威胁到系统的安全。如图1所示，以太坊排名前三的矿池（Spark Pool、Ethermine、F2Pool）掌握了全网53%以上的算力，已经能够发起“51%算力攻击” 此外，其他PoW区块链也存在头部矿池掌握大部分算力的情况。

图1：以太坊算力分布图（来自Etherscan，2021.03.22）

为了深入了解和分析区块链系统，微软亚洲研究院和清华大学的研究人员首次对以太坊矿池参与者进行了大规模研究。研究人员通过数据分析了解到矿池参与者的算力分布和挖矿行为进一步表征了以太坊算力的去中心化程度，该研究的分析见解发表在论文《Characterizing Ethereum's Mining Power Decentralization at a Deeper等级”。此项工作已被全球计算机审阅，在网络领域的重要会议 INFOCOM 2021 上接受。

论文地址：

本文作者曾立毅来自清华大学，现为微软亚洲研究院实习生，与微软亚洲研究院创新工程组郭忠信长期合作区块链研究，可信系统研究组的陈扬、陈硕和张先。

以太坊的挖矿生态结构如图2所示。区块记录了矿工的账户。这些账户来自矿池经理或独立矿工。他们可以直接获得系统发放的挖矿奖励。交易被分发给矿池参与者。以往对算力去中心化分析的研究工作主要停留在头部矿池的算力分布分析上，而忽略了其他挖矿参与者的算力。因此，微软亚洲研究院的研究人员认为，对以太坊算力去中心化的研究不应仅限于分析挖矿节点（矿池和独立矿工）的算力分布，还应包括挖矿行为和计算矿池参与者的权力分配。 ，以更深入地了解衡量计算能力分散程度和防止计算能力集中的解决方案。

图2：以太坊挖矿生态结构图

然而，所有以太坊账户都是去实化的，仅靠链上交易无法准确识别矿池参与者的账户。目前学术界还没有关于矿池参与者的真实数据集。因此，需要结合链上链下多个数据源来识别矿池参与者账户和矿池分配奖励交易。数据集识别流程如图3所示。

@ >

图3：以太坊挖矿数据集识别流程图

由于部分矿池会在Etherscan（以太坊搜索引擎）中公开账户信息，一些大型矿池也会为矿池参与者提供查询挖矿收益信息的API，以识别某个以太坊账户是否属于其矿池参与者。因此，研究人员可以在 Etherscan 上抓取公开识别的矿池账户，并使用从以太坊区块链数据库中获取被识别的矿池发送的交易，并收集这些交易的接收账户，可用于矿池 API 识别。矿池API可以识别的账户可以被确认为矿池参与者的账户，然后可以提取出被识别的矿池发送给矿池参与者的奖励交易。

通过第一个识别和分析以太坊矿池参与者的大规模研究，微软亚洲研究院和清华大学的研究人员创建了第一个大规模的以太坊挖矿数据集 E-PAR。数据集涵盖以太坊自上线（2015年7月30日）至2020年4月10日近5年的数据，包括所有矿工账户的奖励交易、已识别矿池账户、已识别矿池参与者账户和奖励交易矿池发送给矿池参与者的挖矿行为涵盖了近两年占全网平均算力77%的挖矿行为。

E-PAR数据集揭示了矿池下矿池参与者的算力分布，矿池参与者同时参与多个矿池或在多个矿池之间跳转的挖矿行为，原因有多种供矿工选择加入矿池，进一步丰富了对以太坊算力去中心化程度的评价，探​​讨了矿池挖矿算力的可控性，并对现有防止矿池的研究工作进行了推理算力中心化解决方案的可行性，为区块链社区带来了数据驱动的深度算力分布研究。有关更多详细信息，请查看数据集。

数据集GitHub地址：

密码学 - 提高区块链性能和隐私的零知识证明

除了从数据分析的角度分析区块链生态，微软亚洲研究院的研究人员还探索了利用现代密码学提高区块链性能和隐私保护的重要技术——零知识证明。

零知识证明于1980年代初提出，是现代密码学的重要基础之一，也是现代密码学研究的热点。它在隐私和可验证性之间架起了一座桥梁。原理如下：证明者 P 可以在不泄露 w 的情况下向验证者 V 发送证明，这证明了 P 知道 w，因此给定一个公共输入 x，一个公共输出 y，和一个程序 f，使得 f(x ,w)=y。例如，假设 P 是金融机构，V 是监管机构，w 是涉及用户交易的私有数据，f 是交易是否合规的验证程序，x 是公共数据，y 是合规结果，那么零知识认证将确保金融机构能够在不泄露用户隐私的情况下，向相关监管机构证明其涉及用户的交易是合规的。

由于零知识证明的独特性，被广泛应用于区块链系统中，以增强区块链的隐私保护，增加区块链的交易吞吐量：

回到零知识证明本身，证明者生成证明的过程往往涉及大量复杂的密码计算，使得生成证明的时间极长，大大超出了零知识证明的可接受延迟范围。应用，极大地限制了零知识证明的使用场景。例如，由于之前在 Zcash 中生成证明的开销很大，普通用户使用了大量没有隐私保护的交易方式，造成了隐私泄露；例如，当前 zk-rollup 技术处理的事务涉及的程序复杂度较高。低，一旦后期复杂度增加，会导致聚合节点生成证明的时间过长比特币矿池算力分布，进而影响交易的实时性。

针对这一问题，来自微软亚洲研究院、北京大学、清华大学和上海数图区块链研究院的研究人员联合提出了一种高效的硬件加速系统“PipeZK”。零知识证明的证明过程可以加速10倍以上，证明过程的延迟可以减少一个数量级。 PipeZK系统可广泛应用于隐私保护和区块链Layer-2技术场景，可显着增强区块链交易隐私保护，提高交易吞吐量。相关论文《PipeZK: Accelerating Zero-Knowledge Proof with a Pipelined Architecture》已被全球计算机体系结构领域顶级学术会议ISCA'21录用。

论文地址：

zk-SNARK 协议是近年来最流行、最高效的零知识证明协议之一。它的证明过程主要由两部分计算组成（如图4）：一是高次多项式的乘法（以下简称POLY），二是大尺度椭圆曲线向量积（以下简称MSM）。通过深入研究，研究人员发现这两个部分都可以用一种高效的流水线（Pipeline）方法进行并行加速，从而使得ASIC（application-specific电路，专用集成电路）效率高，可以配合CPU处理这两个部分的计算。

图4：zksnark的主要计算部分：多项式乘法（POLY）和椭圆曲线向量乘法（MSM）

对于POLY部分，研究人员主要使用了数论变换（NTT）算法（如图5））。为解决zk-SNARK中POLY的计算规模过大导致ASIC片上计算资源和片外存储器访问速度过慢的问题，研究人员设计了一种高效的过程将大规模的NTT迭代分解为小规模的NTT，并使用FIFO等数据结构来提高内存访问效率。此外，研究人员还使用数据平铺和片上矩阵转置来提高片外内存效率。通过PipeZK系统，POLY部分可以加速20倍以上。

图5：POLY部分的优化设计

对于MSM部分，研究人员使用高效的Pippenger算法处理椭圆曲线的向量乘法，并分析对应标量部分的数据分布，并采用自适应调度机制优化片上利用率资源并提高并行度（图6)。研究人员进一步采用粗粒度处理方法将ASIC上的计算单元解耦，使其能够独立处理计算任务比特币矿池算力分布，避免计算单元空闲。实验结果表明，PipeZK系统可以将MSM部分的延迟降低77倍以上。

图6：MSM部分的优化设计

研究人员已经在各种测试集和零知识证明应用程序上测试了 PipeZK，它们可以实现可观的性能加速。例如，对于一系列密码电路（如 AES、SHA256 等），PipeZK 甚至比当前的零知识证明还要快。最流行的 GPU 算法快 20 倍（续近）。 PipeZK 系统在 Zcash 中的交易证明生成中，还可以将证明过程的延迟加快 5 倍以上。经过分析，目前端到端的性能瓶颈已经集中在见证生成和G2曲线计算上。相信通过后续的优化，加速比会进一步提高。

区块链研究方兴未艾，数据分析和密码学相关研究只提供两个视角。其他方向，如区块链的系统/共识性能优化、合约安全、Layer-2技术、应用创新等，近年来也产生了大量工作。微软亚洲研究院也在创新探索区块链的其他领域，未来将为大家带来更多前沿工作。

可信系统研究组正在招聘对区块链、密码学、分布式系统、信息安全、数据分析等领域有兴趣和基础的实习生。有兴趣的同学可以将简历发送至iblockchain -hiring@microsoft.com。