详情

全站展示位

标签: API | 谢乾坤 | Kingname

高级数据挖掘工程师,《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP,Python, Scrapy, MongoDB, Redis, Pandas, Golang。。。。

推荐

分类: 杂念 | 谢乾坤 | Kingname

高级数据挖掘工程师,《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP,Python, Scrapy, MongoDB, Redis, Pandas, Golang。

如何正确使用日志Log | 谢乾坤 | Kingname

文章首发地址:设置好以后,运行程序就看到一个黑色窗口一闪而过。或者有些人一开始看到程序能正常登陆邮箱,

| 谢乾坤 | Kingname

公众号[未闻Code]日更干货,欢迎扫码关注。 =========2018年10月以后,本页面停更,所有内容转移到微信公众号。========= 2018.09由于Python是动态语言,不需要为变量提前设定类型,这为开发提供便捷的同时也带来了一些麻烦。 有这样一段代码: 123456class Robot(object): def __init__(self): se

标签: 博弈论 | 谢乾坤 | Kingname

高级数据挖掘工程师,《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP,Python, Scrapy, MongoDB, Redis, Pandas, Golang。

心灵鸡汤

被优待的高考

文/蔚新敏

高考被优待,有的加分,有的优先录取,1994年我高考,优待睡竹躺椅。

高考前,邪门了,白天下雨晚上晴天,潮乎乎的热。我家有一个躺椅,竹板做的,躺上去,倍儿凉快,那是我爸的宝椅,平时谁都不能躺。7月6号晚上,我爸说:“明天你高考,今晚上躺椅归你,想躺到几点就几点。”我受宠若惊呀,这“小灶”开得别具一格,可能是我爸表达对我高考重视的唯一途径。

那天晚上,我和衣躺躺椅上看书,我爸把落地扇脑袋调成对着我呼呼吹,我是大暑天下河,凉快透了。

那么一躺就睡着了,一夜都没翻身。

早晨醒来,我的胳膊、脖子、腰、腿都好像坠着沙袋般发沉,各个关节都不活泛了,第一是让躺椅的竹板硌的,第二是电扇吹着了。我也不敢说,就那么去参加考试了。

我的座位在最后一排,我屁股上扎着蒺藜似的,坐不住凳子。腰酸,我就把腰挺得倍儿直溜,直着不舒服了我瘫桌上,过会儿再脖子拉长了腰板挺直了“眺望远方”……总之,人家都低头答题,我摇头晃脑可忙乎了,字都没写多少。

监考的老师走过来,也不问我怎么回事,给我脖子上抹了点风油精,以为我是被蚊子咬了呢。见我还不“老实”,估计是以为我偷看左右同学的答案,也不经过我同意,提溜起我的身体,直接把我的凳子往后拽,桌子往后挪。另外一个老师走过来,身体挡在我前面,恰好头顶一个吊扇,忽闪忽闪转,吹得我更难受。俩老师配合默契,瞅着我,意思是“这下你可凉快了”。我何尝不知道其实是防着我抄袭。那天的考试,我成了药店的抹布,苦透了。

第一天的考试不怎么好。可也不敢跟家里人说啊,吃罢晚饭,我爸说:“你辛苦了,今儿晚上,躺椅还归你,电扇还归你。”我赶紧溜到自己的床上,佯装睡着,待我爸叫我去睡躺椅,我假装睡得死死的,呼噜那个响哦,睡得那个沉哦,怎么叫都叫不醒。那天晚上,真热,我整夜大汗淋漓,第二天,浑身酸疼的感觉没了。

后来我就总结,把高考平常化,别给孩子太特殊的待遇,万一不适应,反而弄巧成拙。

父亲的考前忠告

文/李育蒙

说起高考,我不算成功者。第一年高考失利以后,我背上行囊南下深圳打工,在一家工厂喷油漆。工作了一个多月,父亲打来电话,问我想清楚没有是否复读?差不多同一时间,高三的班主任也打来电话劝我返校复读。因为家里条件不好,我还是非常犹豫。倒是父亲一再坚持要我上学,拗不过父亲,我辞掉了工作还是回学校复读。这其中一个最现实的动力是,班主任电话里和我说,已经向学校申请给我减免了费用。而我自己,也不并甘心就这样被“赶”进了城市。

因为经历了第一次的失败,那一年的复读时光,我学习更加认真,也懂得适当调整自己,成绩也一直稳定在年级前列。时间匆匆而过,转眼又到了高考季,因为是复读高考,总体感觉我比第一次稳当得多。不过因为是第二次高考,其实面临的压力比第一次更大。

让我没有想到的是,高考的前一天,居然在送考的人群里发现了父亲。远远看上去,父亲黑了很多,瘦了很多。父亲在考场外面租了个便宜的小旅馆,为了让我吃好,还特意从家里带了电饭锅,把从家里炒好的菜重新蒸热后让我吃。虽然高考期间的伙食比较好,但我觉得还是家里的饭菜更香。我知道,父亲是在用这样的方式,传递着家人对我的支持。

第二天早上,父亲送我到考场门口。他的话不多,只是拍了拍我的肩膀,说了句“放宽心态”。其实第一年高考更多的是败在了心态上。我看了看父亲,他的眼神里充满了信任和希望,走进考场,我心平静了很多,父亲的期许,于我而言更是一种力量。

每一堂考试出来和下一堂进考场前,我都能在人群中发现父亲。他依旧会轻轻地拍拍我的肩膀,那一拍,我觉得有无比的力量。

其实在我的印象里,父亲性格是比较孤僻的,生活的压力全落在他身上,他很少有情绪的表达。也正是这次高考,让我感到少有的父亲的温情。前前后后共三天,高考很快结束。虽然考得不是特别好,但我终究还是没有辜负父母的期望。

如今,多年过去了,我已经在城市立足,但我依然记得,高考那年,父亲拍拍我的肩膀,忠告我的那句“放宽心态”。虽然我知道有些路只能一个人走,但背后,依旧会有最可依靠的力量。

列表展示

主站展示位

分类: Gne | 谢乾坤 | Kingname

高级数据挖掘工程师,《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP,Python, Scrapy, MongoDB, Redis, Pandas, Golang。

一日一技:怎么中文也属于字母? | 谢乾坤 | Kingname

我最近在使用一个第三方库,叫做RapidFuzz。它有一个工具函数,叫做utils.default_process,在官方文档里面,是这样介绍的: 红色方框里面说,这个函数可以移除所有的非alphanumeric字符。如果我们使用翻译软件,会发现alphanumeric的意思是字母和数字。如下图所示: 因此,我想当然的觉得,这个功能函数,只会保留26个英文字母的大小写加上10个数字,一共62个字

标签: Gne | 谢乾坤 | Kingname

高级数据挖掘工程师,《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP,Python, Scrapy, MongoDB, Redis, Pandas, Golang。

标签: LLM | 谢乾坤 | Kingname

高级数据挖掘工程师,《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP,Python, Scrapy, MongoDB, Redis, Pandas, Golang。

一日一技:Scrapy最新版不兼容scrapy_redis的问题 | 谢乾坤 | Kingname

有不少同学在写爬虫时,会使用Scrapy + scrapy_redis实现分布式爬虫。不过scrapy_redis最近几年更新已经越来越少,有一种廉颇老矣的感觉。Scrapy的很多更新,scrapy_redis已经跟不上了。

一日一技:警告但不禁止,遗留代码的优化策略 | 谢乾坤 | Kingname

在之前的多篇文章中,我都反复告诫大家,不要滥用字典来传大量数据。因为当你的函数收到一个字典的时候,你根本不知道这个字典里面有哪些Key,你必须有一层一层往上看,找到所有尝试往字典里面添加新Key的地方,你才能知道它总共有哪些Key。 但是,在正常公司项目中,我们可能会需要维护一些历史遗留代码。代码规模大,函数调用层级非常深。并且之前的人已经使用字典来传递了大量的数据。 短时间内,我们没有办法直接把

一日一技:如何同时在多个分支写代码? | 谢乾坤 | Kingname

当我们在维护公司项目时,可能会遇到这样的场景:我正在开发一个新功能,突然需要修一个Bug。 这个时候,有些同学是这样做的: 12345678git add .git commit -m 'WIP'git checkout -b 新的分支名...新的代码修改完成并push以后...git checkout 老分支...继续开发... 更有一些经验的同学,可能会这样写: 1234

一日一技:HTML里面提取的JSON怎么解析不了? | 谢乾坤 | Kingname

我们在开发爬虫的过程中,经常发现有一些网站,会直接把数据以JSON的形式,通过<script>标签放到页面源代码中。如下图所示: 有时候请求URL拿到HTML的过程比较麻烦,有些同学习惯先把HTML复制到代码里面,先把解析的逻辑写好,然后再去开发请求HTML的代码。

GnePro:文章类通用爬虫接口 | 谢乾坤 | Kingname

GnePro是开源项目GNE的付费版,能够实现如下功能: 输入任意文章页面的URL,返回标题/作者/正文/发布时间/图片/面包屑等一系列信息 支持异步加载文章页提取 支持上传自定义的HTML代码提取正文 支持自动检测网页编码 支持自动提取网页全部URL 在8个国家13万个新闻类网站进行测试,准确率高达90%

一日一技:如何安全运行别人上传的Python代码? | 谢乾坤 | Kingname

写后端的同学,有时候需要在网站上实现一个功能,让用户上传或者编写自己的Python代码。后端再运行这些代码。 涉及到用户自己上传代码,我们第一个想到的问题,就是如何避免用户编写危险命令。如果用户的代码里面涉及到下面两行,在不做任何安全过滤的情况下,就会导致服务器的Home文件夹被清空。 12import osos.system(&#x27;rm -rf ~/*&#x27;) 有人想的比较简单,直

一日一技:爬虫如何解析JavaScript Object? | 谢乾坤 | Kingname

我们在开发爬虫的过程中,经常发现有一些网站,会直接把数据放到HTML中的<script>标签里面。这些数据长得有点像JSON,但又有差异,如下图所示: 这种格式,我们叫做JavaScript Object。长得很像Python的字典,又很像是JSON。但是这个格式在Python里面,无论直接当字典解析,还是当JSON解析,都会报错,如下图所示: 遇到这种情况,有同学准备使用正则表达

标签: 抓包 | 谢乾坤 | Kingname

高级数据挖掘工程师,《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP,Python, Scrapy, MongoDB, Redis, Pandas, Golang。

一日一技:iOS抓包最简单方案 | 谢乾坤 | Kingname

写过爬虫的同学都知道,当我们想对App或者小程序进行抓包时,最常用的工具是Charles、Fiddler或者MimtProxy。但这些软件用起来非常复杂。特别是当你花了一两个小时把这些软件搞定的时候,别人只用了15分钟就已经手动把需要的数据抄写完成了。 我的需求如果你不是专业的爬虫开发者,那么大多数时候你的抓包需求都是很小的需求,手动操作也不是不能。这种时候,我们最需要的是一种简单快捷的,毫不费力

一日一技:如何对Python代码进行混淆 | 谢乾坤 | Kingname

目前市面上没有任何方法能够完全避免你的程序被人反编译。即便是3A游戏大作,发布出来没多久也会被人破解。现在只能做到增大反编译的难度,让程序相对无法那么快被破解。 我们知道,Python代码默认是公开的。当你要把一个Python项目给别人运行的时候,一般来说别人就能看到你的全部源代码。我们可以使用Cython、Nuitka对代码进行打包,编译成.so文件、.dll文件或者是可执行文件,从而在一定程度

一日一技:在LangChain中使用Azure OpenAI Embedding服务 | 谢乾坤 | Kingname

如果大家深入使用过ChatGPT的API,或者用过听说过AutoGPT,那么可能会知道,它背后所依赖的语言框架LangChain。LangChain能够让大语言模型具有访问互联网的能力,以及与其他各种API互动交互,甚至是执行系统命令的能力。 ChatGPT的prompt支持的Token数量是有限的,但是使用LangChain,能够很容易实现ChatPDF/ChatDoc的效果。即使一段

标签: 语音转文字 | 谢乾坤 | Kingname

高级数据挖掘工程师,《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP,Python, Scrapy, MongoDB, Redis, Pandas, Golang。

标签: LangChain | 谢乾坤 | Kingname

高级数据挖掘工程师,《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP,Python, Scrapy, MongoDB, Redis, Pandas, Golang。

轻声低语,藏在光芒下的语音转文字模型Whisper | 谢乾坤 | Kingname

ChatGPT的模型gpt-3.5-turbo发布当天,OpenAI还开源了一个语音转文本的模型:Whisper。但由于ChatGPT本身太过于耀眼,很多人都忽略了Whisper的存在。 我当时也是这样,我一度以为,Whisper也是一个API,需要发送POST请求到OpenAI的服务器上,然后它传回识别的结果。所以我很长一段时间一直都没有试用过这个模型。 直到前几天,我看到有人在少数派上面发了一

标签: 人工智能 | 谢乾坤 | Kingname

高级数据挖掘工程师,《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP,Python, Scrapy, MongoDB, Redis, Pandas, Golang。

一日一技:Python装饰器的执行顺序 | 谢乾坤 | Kingname

说到Python装饰器的执行顺序,有很多半吊子张口就来: 靠近函数名的装饰器先执行,远离函数名的装饰器后执行。 这种说法是不准确的。

博客寄语:

    这个博客已经连续更新超过8年。

实时播报:

博客号-学习成长

相信每一分耕耘都有每一分收获,致力帮助博客主所创作的博客能更快的被收录! 如果有其它需求,可联系下方邮箱。