详情

全站展示位

推荐

Boltdb 源码导读(一):Boltdb 数据组织 |

boltdb 是市面上为数不多的纯 go 语言开发的、单机 KV 库。boltdb 基于 Howard Chu’s LMDB 项目 ,实现的比较清爽,去掉单元测试和适配代码,核心代码大概四千多行。简单的 API、简约的实现,也是作者的意图所在。由于作者精力所限,原 boltdb 已经封版,不再更新。若想改进,提交新的 pr,建议去 etcd 维护的 fork 版本 bbolt。 为了方便,本系

Ray 源码解析(二):资源抽象和调度策略 |

上一篇讲了待调度任务的组织形式,这一篇来继续挑软骨头啃:节点资源抽象和调度策略。 引子由于 Ray 支持对任务进行显式的资源约束,因此需要对所有节点的资源进行硬件无关的抽象,将所有资源归一化管理,以在逻辑层面对资源进行增删。当有节点加入,需要感知其资源总量大小;当有任务调度,需要寻找满足约束节点;当任务调度成功,可以获取剩余可用资源等等。 Ray 除了对标准资源如 CPU,GPU 的支持,还支持对

Hadoop 源码阅读之DFS(二):DataNode |

上一篇把一些零碎的小类集在一起,凑成一篇。这篇打算对比较长的一个类DataNode读读。每个DataNode代表一个数据节点,对应某台机器的一个文件夹,本质上是一定数量的Block的集合,能够和NameNode,client以及其他DataNode进行通信,以对该Block集合进行操作,主要包括client的读和写,其他DataNode block的复制,以及响应NameNode操作,进行删除等操

心灵鸡汤

我的大学!

文/龙神

堂姐打来长途电话,说她孙子考进了阜阳师专。这小子是第三次收到大学录取通知书了,一家人高高兴兴送他上学,他却不好好读书,逃课玩游戏机,两次都终被勒令退学,气得他那八路军出身的革命爷爷血压蹭蹭往上蹿。真是个不知惜福的孩子。

一九六五年我上高三。那时的大学已经很难考,除了看成绩,家庭成分是录取的重要标准,“红五类”子女优先。班里56个同学,出身好的只有五六人。考不进大学找工作也难。最无奈的只好闲在家里吃老米饭,做社会青年。我是长女,弟妹一大群,家里正指望着老大早日出道,分挑经济重担呢。我只有发奋读书考进大学,才有出路。

天有不测之风云,寒假里我得了结核病,医生说要休学。马上就要高考,关键时刻折戟沉沙,我沮丧极了。父亲去学校替我办休学手续,母亲后来告诉我说,你爸夜里落泪呢。吃药、打针,一个月下来,病好些了。牵挂着课堂,我不甘心休养,就重拾课本自修起来。

那年月贯彻“教育与生产劳动相结合”方针,即使到了高三下,每周学生也要去工厂义务劳动半天。早上同学们去四川北路底的一家皮件厂,返校途中经过我家弄堂,大家常来看我。每次我都早早地等着,听同学们来了讲班级的趣闻、讲学习中的问题。他们走后,自己就赶紧补课。我用积攒下的一块三毛零用钱买了《古代散文选》上册,有看不懂的地方,便在书里嵌上小条。一天,同学们又来了,看见我顺手搁在桌上的书及小条,就关心地劝:“不能用功啊,当心身体。”没两天,我收到一封信,是位刚入团的同学寄来的,她姓招。“你虽病休在家,但一定要关心国家大事。要胸怀全球,放眼世界,不能将自己埋入古书堆,走白专的道路。”这是班上有同学在议论自己了,我觉得冤枉,也感到不安。彼时“文化大革命”的“号角”已经吹响,我不甘、也不敢做个落后分子啊。于是收起“封资修”的东西,每天听广播,到弄堂口邮局的报栏看报,我不能做《青春之歌》里的余永泽。

毕业即临,高考消息却杳无音信,而革命的风暴越刮越烈。五月末传这样的消息:北京四中的高三学生向党中央倡议:取消高考,因为大学是培养修正主义的温床。我的脑子顿时一片空白……从小学生时就做起的大学梦,从此破灭。

高考恢复时我已调到中学教书。学,然后知困;教、然后知不足,工作的实践让我深知自己才疏学浅,必须要再学习。当时报考大学要组织批准、党支部开介绍信才行。我真是顾虑重重:毕竟功课荒废了十几年,万一落第岂不贻笑大方?但是,为了学生,也为了圆大学梦,我要进考场。幸福的那天终于让我盼到了,听到我考上上海师范学院中文系时,父亲他连连说了几个“好”。

大学的同窗多为老三届高中生。开学不久,班长陈非把白底红字校徽发给大家,别好徽章的男生就自嘲开了:我们该是挂红底白字校徽的年龄啦!众人全笑,笑里有酸涩,有甘甜;有惶恐,更有期盼。晨钟暮鼓,寒窗苦读,所有的任课先生都说我们这一届的学生是最好的。毕业的那天聚会,捧着鲜红的毕业“派司”,同学们唱起了《友谊地久天长》。好几个女同学落泪了,我的眼眶也是湿的。

为了迟上的大学,为了过去的好时光,也为了从事夸美纽斯称赞的“太阳底下最光辉的事业”,我们这一代人无愧。

列表展示

主站展示位

关于如何在晴天卖出 250 把雨伞这件事 |

说的就是我的大规模数据系统专栏《系统日知录》—— 有人问,在读了你的专栏文章后,可能很久之后才可能会用到都不会用到,那为啥要买呢?何况,雨伞在雨天可是刚需,这专栏在面试的时候可不是。所以这实在不是一门好“生意”——受众狭窄、场景低频,两者乘数,便是我这惨淡销量了。 这也是为什么成功的专栏动辄上万次购买,而我只卖了个二百五,也敢把经历拿出来说一说了。万一你有类似的危险想法,也可以参考一二。

标签: 付费专栏 |

一个喜欢摄影的分布式程序员

Y Combinator 2024 年关注 20 个创业领域 |

Y Combinator(YC)是一家知名的美国创业加速器,自2005年成立以来致力于推动初创企业成功。作为初创企业界的领军人物,YC 的特点是,不仅提供资金,还提供指导、资源和网络,以帮助初创企业在竞争激烈的市场中脱颖而出。YC 的成功案例包括 Airbnb、Dropbox 和 Reddit 等,这些公司现在都是各自领域的巨头。YC 发布的“创业公司征集请求”(RFS)是其基于对市场趋势、技术

微软提出的无锁 B 族树 —— Bw-Tree |

概述Bw-tree 是 2013 年微软发表的相关论文提出的数据结构。考虑到多核机器和 SSD 日趋普及,结合两大存储引擎 B+-tree 和 LSM-tree 特点,提出了一种 latch-free、delta update、log structured 的 B族树 —— Bw-tree。 由于上述论文在实现细节上语焉不详,cmu 几个作者在 2015 年时实现了一版基于内存的 Bw-tree,

标签: 执行引擎 |

一个喜欢摄影的分布式程序员

标签: firebolt |

一个喜欢摄影的分布式程序员

【图解面试基础】三种基本排序算法 |

这是使用 Procreate 画图之余,心血来潮开的一个面试基础系列,力求图文并茂、代码视频兼顾,做成最好看的面试系列。欢迎喜欢的小伙伴点赞、转发和打赏,如果支持的同学多,我就继续更下去。

MIT 6.824 2020 视频笔记三:GFS |

MIT 今年终于主动在 Youtube 上放出了随堂视频资料,之前跟过一半这门课,今年打算刷一下视频,写写随堂笔记。该课程以分布式基础理论:容错、备份、一致性为脉络,以精选的工业级系统论文为主线,再填充上翔实的阅读材料和精到的课程实验,贯通学术理论和工业实践,实在是一门不可多得的分布式系统佳课。课程视频: Youtube,B站。课程资料:6.824主页。本篇是第三节课笔记,GFS。 概述存储

定格生活中的美好 |

乌兰哈达火山群 阿尔山天池 塔合曼湿地 慕士塔格峰 喀什 地坛与雪 北京 涠洲岛五彩沙滩 重庆 桂林山水 丽江古城 稻城亚丁 甘南 乌兰布统-塞罕坝 陕西波浪谷-壶口瀑布 额济纳天鹅湖 林州南太行大峡谷 我家的猫 后记照片主要在我的图虫上:,这是我的主页。这个图库是一个程序员将自己拍摄的照片放在

标签: dadtabase |

一个喜欢摄影的分布式程序员

数据处理的大一统——从 Shell 脚本到 SQL 引擎 |

“工业流水线”的鼻祖,福特 T 型汽车的电机装配,将组装过程拆成 29 道工序,将装备时间由平均二十分钟降到五分钟,效率提升四倍 ,下图图源。 这种流水线的思想在数据处理过程中也随处可见。其核心概念是: 标准化的数据集合:对应待组装对象,是对数据处理中各个环节输入输出的一种一致性抽象。所谓一致,就是一个任意处理环节的输出,都可以作为任意处理环节的输入。 可组合的数据变换:对应单道组装工序,定义

生活工程学(一):多轮次拆解 |

我们在工程实践中,有些构建代码的小技巧,其背后所体现的思想,生活中也常常可见。本系列便是这样一组跨越生活和工程的奇怪联想。这是第一篇:多轮次拆解,也即,很多我们习惯一遍完成的事情,有时候拆成多个轮次完成,会简单、高效很多。 我在进行 code review 时,常看到一些新手同学在一个 for 循环中干太多事情。常会引起多层嵌套,或者 for 循环内容巨大无比。此时,如果不损失太多性能,我通常

标签: 多轮次 |

一个喜欢摄影的分布式程序员

NUMA-Aware 执行引擎论文解读 |

最近翻 DuckDB 的执行引擎相关的 PPT(Push-Based-Execution) 时,发现了这篇论文:Morsel-Driven Parallelism: A NUMA-Aware Query Evaluation Framework for the Many-Core Age。印象中在执行引擎相关的文章中看到他好几次;且 NUMA 架构对于现代数据库架构设计非常重要,但我对此了解尚浅

博客寄语:

    一个喜欢摄影的分布式数据库程序员,专注分布式系统,存储,数据库领域。

实时播报:

博客号-学习成长

相信每一分耕耘都有每一分收获,致力帮助博客主所创作的博客能更快的被收录! 如果有其它需求,可联系下方邮箱。