2020年4月4日,Filecoin 官方发起了 PB 级大矿工测试提案,呼吁大家参与 Filecoin 大矿工测试,以下为提案内容。

Note: 本文不仅仅是对原文的翻译,还有一些笔者对提案的解读和补充,如果想要阅读原文,请点击下面的地址: 
https://github.com/filecoin-project/devgrants/blob/master/rfps/rfp-pbscale-miner-testing.md

RFP:PB 级矿工测试

  • 项目名称:大型矿工测试
  • 提案类别:挖矿
  • 提案者:@keren117
  • 截止日期:2020年4月15日23:59

项目简介

随着Filecoin测试网达到PB规模,并且节点实现已接近协议完整性,我们有兴趣了解 Filecoin 挖矿软件如何在大规模配置上执行。

如果您在5 PB或更大范围内运行挖矿操作,我们正在寻求有关大规模设计,实施和运行采矿和存储硬件测试的建议。

提案可以直接通过电子邮件发送至 devgrants@filecoin.org,并且您的操作详细信息将被保密。

我们主要目标是想要了解:

  • 第二阶段 v23 或 v24 证明参数 PoRep 的密封率
  • ePoSt在 5PB+ 数据上的密封性能
  • 还有哪些其他性能瓶颈
  • 挖矿过程中的重大事件/Bug
  • 如何针对大规模环境改进挖矿软件
  • 每美元密封速度(GB / h) 简单来说就是密封的性价比

我们对测量每GB每小时的密封成本和性能特别感兴趣,因此鼓励提出有助于我们理解该指标的建议。 我们还邀请其他建议,以提供更好的配置以及其他有用的测试计划。

申请条件

  1. 在 testnet 存储算力表中验证您当前的容量和吞吐量\ (例如,使用 Lotus PR#1292 中描述的方法签名的消息)
  2. 提供一份 Lotus 或 go-filecoin 的常规测试计划说明。
  3. 提供一份您准备参与测试的 5PB+ 挖矿操作的拓扑描述(包括地理位置)

可以考虑的其他测试标准

测试计划还可以选择包括以下所列一些基准来对您的操作进行基准测试:

  • 基准测试工具
    • 如果您能开源您使用的任何自定义工具我们将不胜感激,并且可能使您的建议更具竞争力。
  • 硬件配置
    • CPU,GPU,RAM,SSD和HDD,交换机(如果有就提供)
    • 基于性能的 BIOS 更改(如果有就提供)
    • 样本指标
      • 随着时间的推移硬件的性能和使用的情况
      • 任何冷却需求和故障率
  • 网络拓扑,带宽和吞吐量指标
    • 网络拓扑说明
    • libp2p指标,任何中继等。
    • 一段时间内看到的节点(Peer)数量
  • Filecoin 挖矿软件的配置
    • 测试的扇区大小(我们对 32GB 扇区特别感兴趣)
    • 扇区丢失监控(如密封失败,Fallback PoSt 失败等)
    • lotus daemon-lotus-storage-miner-lotus-seal-worker等挖矿相关程序的配置
      • 包括任何共享存储
    • Filecoin 链的检查点和备份
    • 密封和证明指标
      • Election PoSt 的规模,例如 1-5PB+
    • 交易状态指标
    • 区块链指标
    • 例如区块生产,区块传播时间,链存储等
    • 链分叉检测以及相关分叉信息
    • 自动化或集成测试
    • 自启动和数据接收优化
    • 队列策略(如果有)
    • 缓存策略(如果有)
    • 进行的任何软件修改或其他日志记录工具
  • 支持软件的配置
    • 存储层管理,例如:RAID,文件系统,任何软件定义的存储,NAS,SAN(我们对此特别感兴趣)。
    • 包括每秒 I/O 指标以及 HDD 与 SSD 的使用情况
    • 您的存储增长策略
      • 冗余策略(如果有)
      • 工作流程编排工具(如果有)
      • 网络配置和工具
    • DDOS 哨兵,多节点到 multiaddr 反向代理等
    • 使用的任何其他工具.
  • 其他可能有用的相关指标
    • 例如:数据中心,位置,与您可能运行的任何其他网络的比较。
  • 最后,我们还对您在本次测试中金融模型感兴趣,如:
    • 挖矿成本,按资本支出,电力成本,数据中心成本等细分
    • 假设固定 FIL 价格的获利能力
    • 大幅削减(惩罚机制)
    • 主链上成功区块的比例(例如出块成功的比率)
    • 任何其他可能有助于我们了解财务问题的信息

根据初步结果,我们可能会要求进行其他测试。

测试奖励金额

PS: 这个应该是大家最关注的信息了。O(∩_∩)O~

该奖励的目的是激励共享测试知识和测试结果,以使挖矿社区受益并了解该协议如何大规模发挥作用。 我们将对任何专有或个人信息保持机密,但旨在与更广泛的社区共享常识和成果。

我们不确定有多少矿工会申请此测试奖励,并且预算没有上限,因此一旦所有提案提交并审核后,将决定如何公平分配资金。

根据建议的质量和存储容量的验证,可以接受多个团队。 还请在提案中包括您的运营地理位置。

补助金可以是法币,也可以是以未来主网的 FIL 币来发放补助金,也可以是混合补助金(也就是法币 + FIL的形式)。

可交付成果

一旦提案被接受后,以下是计划的交付成果:

  1. 涉及 Lotus 或 go-filecoin 的具体而详细的测试计划。
  2. 对测试中的挖矿操作拓扑的描述。
  3. 测试结果的摘要,包括所有监视和指标屏幕截图。
  4. 您的学习和建议的书面记录。

可交付成果可以通过电子邮件发送至 devgrants@filecoin.org 或在 Github 仓库中发布。

交付要求:

  1. 记录清晰,易于理解的测试计划以及结果和建议的文档。
  2. 在测试过程使用的所有工具和配置的列表,以及自定义工具的链接地址。
  3. 使用当前 Filecoin 节点进行大规模的硬件环境测试(您可以使用 Lotus/go-filecoin,或者二者同时使用)。

里程碑和资金

里程碑编号 里程碑描述 资金占比 预计时间
1 测试计划定稿和详细的采矿操作拓扑描述 0% 1-2周
2 测试计划的初始基准和迭代 25% 1-2 周
3 Filecoin团队的潜在迭代和结果讨论 25% 2 周
4 最终结果,所有可交付成果以及基于学习的任何其他测试要求 50% 2-3 周
如果您的团队无法令人满意地达到里程碑,我们可能不会继续为该项目资助您的团队。

如果对 RFP 提案有任何疑问,你可以发送邮件到 devgrants@filecoin.org

总结

个人觉得这个大矿工测试条件比较苛刻,成本那是相当高的。

首先我们看下硬件投入:

我们先大概算一下,光 5PB+ 的硬盘保守估计就要 100 万的投入。

再看矿机,这块投入是大头,就那 32GB 的扇区来说,至少内存是 128GB 以上。 既然要准备 5PB 的算力存储,那么你矿机的配置肯定不能只刚好满足要求,如果这样你这 5PB 的存储要猴年马月才能存满。而测试的时间估计也就 1到2个月。如果你想要在测试中得到一个不那么难看的成绩,则你至少要投入 100 台矿机(少于 100 台你都不少意思说你这是大矿工测试), 每台矿机搭配 2-4 个GPU,我们就按最少 2 个 CPU 算,这样的矿机工厂的拿货价估计也接近 5 万了。那么矿机的成本就接近 500 万。依我看即使 是这种配置,估计也是参与大矿工测试的入门配置。因为在当前的 testnet2 网络就已经有矿工为了刷排行榜使用了这种配置, 而且机器规模已经超过了 100 台(别问我是怎么知道了,事实上我就是知道了 O(∩-∩)O哈哈~)。

然后再加上机房投入,网络设备投入,这种规模的测试,想都不用想,万兆网是跑不掉的,那么各种万兆交换机,路由器,光口/电口模块等等, 采购起来,即使你买二手的,你会发现也是一笔不小的投入。我虽然对这些设备的报价不是特别清楚,但是保守估计也得大几十万把。 如果你还要使用存储柜的话,呃… 这个投入我还真不好拿捏。。。

所以就这样简单估算一下,如果按照上面的配置参与,本次测试的硬件投入大概在700-800w RMB。

其次,除了硬件成本以外,软件成本和人力成本也是不可忽视的,要参与这些测试的话,后面必须要有软件,硬件,网络工程师的配合。 当然,你可以不用优化挖矿软件的源码,也可以不更改 BIOS,这些都不是必须的。但是你总得有人给你全程跟踪整个测试过程,收集测试数据, 调整测试配置之类的吧? 因为后面人家说了,需要验收测试成果的,需要提交各种测试指标,文档,如果达不到里程碑的话,你是拿到不到测试奖励的, 那这么大的投入都白忙活了。

总之一句话,如果你有钱,有人,还有把握拿到的测试奖励的话,可以试着参与,否则需要谨慎投入!!!