区块链迫在眉睫的存储问题 迅雷链是这么解决的

时间:2020-01-07 来源:www.diw9nkahga.com

如何在区块链存储大数据和文件?

这是目前困扰区块链应用的主要困难之一。该行业的许多技术团队正在进行各种尝试,试图找到一种合适的方法来在链上存储大量文件。

11月24日,在迅雷连锁技术沙龙上海站,迅雷连锁底层的R&D工程师分享了迅雷连锁对此问题的解决方案。他说,通过冗余编码和共享计算技术,大数据上行问题可以得到有效解决,从而消除了区块链技术商业应用的主要障碍。

区块链存储难点:高价格和小容量

在链上存储数据并不难。目前,基本上所有的区块链主链都可以存储数据。真正的问题是数据的存储成本极其昂贵。例如,在以太网车间,大约需要3.76以太网来存储1MB的数据,即使以目前的市场价格也接近3000元。在状态观测系统中尤其如此,据估计,开发一个分布式应用程序仅购买内存就要花费数百万元。显然,如此高的价格在实际业务中是完全不可接受的。

此外,可保存在现有主流区块链上的数据量实际上并不大,因为传统的区块链是独立存储架构,数据存储容量受独立存储上限的限制。张晓刚表示,截至2018年5月,比特币一个完整节点的数据存储量达到210克,而以太网广场的数据存储量达到1T。这一级别使得许多普通用户无法运行全部以太网节点。

如果商业应用数据上行链路被释放,数据存储的增长将非常快,远远超过当前的数据量。以目前的技术架构,基本上不可能满足实际的商业数据上行链路要求。

高成本和小容量已成为区块链数据存储面临的主要问题。如果要实现商业用途,存储问题将首先得到解决。

迅雷连锁的解决方案

C:\Users\admin\AppData\Local\Temp\WeChat Files\60510982149da6491e1003eb433ad6c.jpg

根据张晓刚的说法,迅雷连锁的数据上行存储解决方案包括三个步骤。首先是打破传统的区块链模式,即所有节点保存相同的数据,并用新的分区模式替换。

迅雷链(Thunderbolt Chain)使用原始同构的多链架构,可以对自身进行分区,确保每个分区结构完全相同。分区后,不同的分区被切换到不同的节点集群进行存储,大大减少了单个节点存储的数据量,有效降低了单个节点的存储压力。

如果分区需要更高的性能或者存储达到阈值,则分区可以被平滑地链扩展,即一个分区可以被分成更多的分区,从而提高性能并减缓存储增长。迅雷链的节点来自共享计算提供的150万个个人节点,这些节点足够大以支持足够的分区存储需求。

其次,是迅雷连锁文件系统(TCFS),在业界引起了很大反响。用户将文件存储在TCFS,TCFS将计算文件的摘要并返回哈希值,哈希值将被链接,因此也可以链接大量文件数据。

另一方面,TCFS应该确保文件存储的安全性和可靠性。它通过冗余编码将文件分成几部分,并分别存储在不同的节点上。读取时,可以通过将一些片段组合在一起来恢复整个原始文件,从而确保即使一些节点不在线,整个文件也只能由剩余的在线节点恢复。同时,任何单个节点只能看到文件片段,这不能恢复其真正的含义并确保安全。

此外,张晓刚还透露迅雷连锁目前正在将底层存储升级到可插拔插件存储架构。节点可以根据自己的场景选择不同的底层存储体系结构。除了本机支持的级别数据库存储之外,还将陆续支持新的存储解决方案。

C:\Users\admin\AppData\Local\Temp\WeChat Files\7f8ca8f0d33a44ad667f63ab411de87.jpg

通过这三个技术创新步骤,迅雷链已经能够妥善处理大数据和大文件链保存的难题。最后,张晓刚表示,迅雷连锁对所有技术问题的解决方案是基于如何让开发者更好、更方便地开发区块链应用程序,存储解决方案也不例外

免责声明:本文是对用户的贡献。网站管理员之家发表这篇文章只是为了传递信息。这并不意味着站长之家同意其观点,不对内容的真实性负责,仅供用户参考,不构成任何投资或使用建议。读者被要求核实真实性和可能的风险,任何后果将由读者自己承担。