请稍侯

Ceph-05 Ceph 块存储之 RBD

本文讲述 Ceph 块设备存储的相关介绍以及 RBD 相关操作。 什么是块设备? 首先,块是一个字节序列(例如,一个 512 字节的数据块)。 块设备是 I/O 设备中的一类,是将信息存储在固定大小的块中,每个块都有自己的地址, 还可以在设备的任意位置读取一定长度的数据。最常见的块设备例如硬盘,U盘,SD卡等。 做一个不是很准确的但是方便你理解的概括:块设备就是以块作为存储单...

Ceph-04 Ceph 存储池

存储池介绍 Ceph 对集群中所有存储资源进行池化管理,pool 是一个逻辑上的概念,其表达的是一组数据存储和查找的约束条件。 Ceph 集群刚刚搭建成功之后会有系统内会默认创建一个 RBD 存储池(然而本人测试的 Luminous 版本却发现并没有默认的 RBD)。 Ceph 提供两种类型的存储池,多副本存储池(Replicated Pool) 和 纠删码存储池(Erasure Co...

2019 个人年终总结

常羡人间琢玉郎,天应乞与点酥娘。 自作清歌传皓齿,风起,雪飞炎海变清凉。 万里归来年愈少,微笑,笑时犹带岭梅香。 试问岭南应不好,却道,此心安处是吾乡。 -- 苏轼《定风波·南海归赠王定国侍人寓娘》 一到年底,那些平时在工作中养成的良好习惯都会被抛到九霄云外。比如早上要9点多才起来,中午午休一睡就睡到下午 4,5 点钟… 在加上这段时间的该死的冠状病毒肆虐,这十几天都没出门,在家里...

Ceph-03 搭建 Ceph 存储集群

人是一种以特殊方式特殊的动物。 怯者愤怒,却抽刃向更弱者。-- 鲁迅 本文介绍如何搭建 Ceph 分布式存储集群。如果对于 Ceph 基本架构还不了解的同学,请移步 Ceph 简介。 测试环境说明: 存储节点: 3个节点,ceph1,ceph2,ceph3 ,挂载 3 块硬盘部署 3 个 OSD 节点 以 ceph1 节点充当部署(admin)节点,同时部署 ceph...

Ceph-02 Ceph IO流程及数据分布

每一个不曾起舞的日子,都是对生命的一种辜负。-- 尼采 首先看下 Ceph 整体架构图简图: 默认每个主 OSD 都携带两个副本。有效存储比例为 3:1 。 在写入的时候也是先写入到主分区(Primary OSD),然后在自动同步到副本(Replicate OSD)。 1. 正常 IO 流程图 写入数据步骤: client 创建cluster han...

Ceph-01 Ceph 简介

人生而自由,又无往不在枷锁之中。-- 卢梭 Filecoin 的测试正在如火如荼的进行。面对即将到来的第二期测试,各路玩家都使出了浑身解数。 到本文发布为止, Lotus 测试网全网算力已经达到 1.3 PB,头部矿工的算力已经有 500 多TB。 有不少同学在 Slack 上问我,说他们是怎么存储这么多数据的,即使把48盘位的矿机满盘位做 raid5 也不可能有这么大的存储空间。 ...

Ubuntu 安装 NVDIA GPU 驱动以及 CUDA Tool

老,是物理功能的退化。衰,是精神的颓废。 机器永远不会累,但是它可以停下来。而人即使再累,也必须永远走下去。 本文介绍如何安装 NVDIA GPU 驱动以及 CUDA 工具包。 提示:本人测试的操作系统是 Ubuntu 18.04.3 LTS 一、安装 ubuntu-drivers 工具组件 sudo apt-get install ubuntu-drivers-co...

DAS,NAS,SAN 存储区别

科学上重要的是研究出来的东西,而不是研究者个人。-- 居里夫人 存储的分类 从存储的开放程度来划分可以把计算机存储分为两类:封闭系统存储和开放系统存储。 封闭系统存储最常见的例子就是像一些大型一体机,就是你无法把存储设备从机器中拆分出来(当然硬拆就另当别论了)。 再比如我们的每天使用的手机的内置存储芯片。 开放存储系统又可以分为内置存储和外挂存储,内置存储比如我们常用办公电脑...

Filecoin 系列12-搭建 Lotus 本地测试网络

天之道,损有余而补不足,人之道则不然,损有余而补不足。 --《道德经》 凡有的,还要给他,叫他有余,没有的,连他所有的也要夺走。 --《马太福音》 本文介绍如何搭建本地的 Lotus 测试网络,以便在线上测试网络不可用的时候,进行本地挖矿测试。 搭建本地测试网络需要编译 lotus-seed 工具去预密封一些种子节点,所以我们需要先编译一下 debug 版本: cd {...

《黑客与画家》读书笔记

勤学如初起之苗,不见其增,日有所长; 辍学如磨刀之石,不见其损,日有所亏。 --晋·陶渊明 本书是硅谷创业之父Paul Graham 的文集,主要介绍黑客即优秀程序员的爱好和动机,讨论黑客成长、黑客对世界的贡献以及编程语言和黑客工作方法等所有对计算机时代感兴趣的人的一些话题。 书中的内容不但有助于了解计算机编程的本质、互联网行业的规则,还会帮助读者了解我们这个时代,迫使读者独立...