当我们采购数据集时，有时候供应商会以JSON Lines的形式交付给我们。这种格式，本质上是文本格式，它每一行是一个JSON。例如，供应商给我们了一个文件小红书全量笔记.json文件，我们可以使用如下Python代码来一行一行读取：123456import jsonwith open('小红书全量笔记.json') as f: for line in f: info = json.loads(line) note = info['note'] print('笔记内容为：', note)这个格式的好处在于，每一次只需要把少量内容读取到内存中。即便这个文件有1TB，我们也可以使用一个4GB内存的电脑来处理。今天出了一个乌龙事件，某数据供应商在给我数据的时候，说的是以JSON Lines格式给我。但我拿过来解压缩以后一看，100GB的文件，里面只有1行，如下图所示：也就是说，他用的是一个超大JSON直接导出给我，并没有使用JSON Lines格式。正常情况下，如果我要直接解析这个数据，需要我的电脑内存超过100GB。这个大JSON大概格式是这样的：1[{"question": "xxx111…
Hello World 👋 :orange_book: Focusing on iOS、Flutter & Odoo :hammer: Engaged in ERP development :ram: Wayward development :meat_on_bone: Amateur cook
前言大家好，我是子规，很高兴能够在这里和大家相遇。本篇文章记录该站建立的初衷、建站过程以及在过程中的思考。为什么建立这个网站在此网站建立之前，我通常在 CSDN 上写作。但随着时间推移，我开始发现，CSDN 上的文章，Although it is very good, but it is not very good for SEO。尽管我在 CSDN 上没有很多有质量的输出，但是繁杂的信息流却充斥在我面前。关注，点赞，私信，评论，活动等等都是我要面对的。这些信息流无时无刻不在分散我的注意力，使我感到非常痛苦。因此，我开始探索更有效的方式。前几年微信公众号爆火，我本人也关注不少微信公众号。其中，有非常多关于编程的公众号对我帮助极大，我非常喜欢。时常幻想自己能够在公众号上写好文章，这样我就可以分享自己的知识了，或者说更纯粹的分享自己的知识了。我也的确这么做了，「整点儿代码」就是尝试。「整点儿代码」最初的规划是，每天产出一篇文章，设置定时晚上 10 点左右发布，这也 call back 了 “ 整点 “ 这个 concept。可惜，我并没有成功。一方面微信公众号的审核不通过导致不能整点发布，…