先找到爱的人，再写出优秀的代码 | 谢乾坤 | Kingname

主站展示位

标签: Scrapy | 谢乾坤 | Kingname

高级数据挖掘工程师，《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP，Python, Scrapy, MongoDB, Redis, Pandas, Golang。

查看原文

一日一技：在macOS上查看任意软件的调试信息 | 谢乾坤 | Kingname

如果你使用macOS，想看上面某个软件使用什么技术开发的。那么你可以使用这个方法。它对普通人来说可能没什么用。如果你本来就做macOS软件开发，那么这个方法可能会很有用。 首先，我们知道macOS上面，安装的软件一般都放在/Applications/或者~/Applications文件夹里面。这里我以阿里网盘为例。

查看原文

标签: LLM | 谢乾坤 | Kingname

高级数据挖掘工程师，《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP，Python, Scrapy, MongoDB, Redis, Pandas, Golang。

1 2024-12-12 08:19 查看原文

一日一技：iOS下的开源免费消息推送服务 | 谢乾坤 | Kingname

我们在部署代码到线上以后，可能会需要在一些情况下给自己发报警通知。如果是公司的线上业务，一般会有公司内部的各种通知工具。 但如果是自己的个人服务，我们应该怎么推送消息呢？有些同学可能使用过叮叮或者飞书机器人，但是这些机器人要发送通知还需要拉个群，稍微有点麻烦。有些同学可能使用的是Telegram，但使用它需要梯子也不太方便。 如果你的手机是iPhone，那么你可以使用一个开源免费超级轻量级的消息推

1 2024-10-15 08:26 查看原文

拒绝成为这样的程序员 | 谢乾坤 | Kingname

产品经理这两天在跟我抱怨他们公司的一个码农。听的我火冒三丈，差点把跟了我十多年的搪瓷水杯砸烂。 正好在知识星球和微信群里面，有不少同学跟我咨询程序员的职业发展以及怎么应对三十岁危机。 借此机会，我准备用几篇文章来讲讲自己的经验和个人的观点。

1 2024-12-23 03:57 查看原文

一日一技：JSON如何快速转成对象？ | 谢乾坤 | Kingname

我们知道，在Python里面，要把JSON转成字典是非常容易的，只需要使用json.loads(JSON字符串)就可以了。 但如果这个JSON转成的字典，嵌套比较深，那么要读取里面的数据就非常麻烦了。如下图所示： 如果我要读取把图中的end减去start字段，那么用字典的时候，代码要写成这样： 1result = info['data'][0]['entities&

查看原文

一日一技：自动提取任意信息的通用爬虫 | 谢乾坤 | Kingname

使用过GNE的同学都知道，GNE虽然是通用爬虫，但只是文章类页面的通用爬虫。如果一个页面不是文章页，那么就无能为力了。 随着ChatGPT引领的大语言模型时代到来，这个问题基本上已经不是问题了。我们先来看一个效果。首先打开Linkedin，随便找一个招聘的岗位，如下图所示： 然后，我们直接使用GPT从这里提取信息：

1 2024-10-09 13:30 查看原文

标签: scrapy_redis | 谢乾坤 | Kingname

高级数据挖掘工程师，《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP，Python, Scrapy, MongoDB, Redis, Pandas, Golang。

1 2024-12-14 12:14 查看原文

一日一技：从Pandas DataFrame两个小技巧 | 谢乾坤 | Kingname

今天我从网上下载了一批数据。这些数据是Excel格式，我需要把他们转移到MySQL中。这是一个非常简单的需求。

查看原文

一日一技：HTML里面提取的JSON怎么解析不了？ | 谢乾坤 | Kingname

我们在开发爬虫的过程中，经常发现有一些网站，会直接把数据以JSON的形式，通过<script>标签放到页面源代码中。如下图所示： 有时候请求URL拿到HTML的过程比较麻烦，有些同学习惯先把HTML复制到代码里面，先把解析的逻辑写好，然后再去开发请求HTML的代码。

查看原文

一日一技：在Scrapy中如何拼接URL Query参数？ | 谢乾坤 | Kingname

我们知道，在使用Requests发起GET请求时，可以通过params参数来传递URL参数，让Requests在背后帮你把URL拼接完整。例如下面这段代码： 12345678910111213# 实际需要请求的url参数为：#

1 2024-10-11 05:37 查看原文

再见2023，你好2024 | 谢乾坤 | Kingname

跟风来写个年终总结。 我记得在2023年元旦，我发了个语音，说我要开始搞播客。结果1年过去了，播客还是没个影子。今年不设这个目标了，免得又拖到明年。 2023年开头的前5个月，是2022年痛苦的延续。我真的太讨厌字节了。每一天都过得非常痛苦。公众号没有时间写，自己的代码也没有时间写，连学习的时间都没有。每天下班就只想躺下。连躺下都躺不安稳，飞书上面的消息一直在轰炸，动不动就开语音。开你妈个锤子的语

查看原文

一日一技：分布式系统的低成本权限校验机制 | 谢乾坤 | Kingname

经常关注未闻Code的同学都知道，我做了一个叫做GNE的开源项目，它能够自动提取新闻类网页的正文。效果远远好于市面上其他的开源新闻提取工具。 大家可能不知道，GNE还有一个高级版，叫做GnePro。它可以让你输入URL就自动提取新闻的正文，提取的字段比GNE多得多。并且已经在8个国家13万个网站上做过测试，识别准确率100%。

1 2024-12-07 18:26 查看原文

一日一技：如何同时使用多个GPT的API Key？ | 谢乾坤 | Kingname

相信很多同学或多或少都在Python中使用过GPT API，通过Python安装openai库，来调用GPT模型。 OpenAI官方文档中给出了一个示例，如下图所示： 如果你只有一个API账号，那么你可能不觉得这样写有什么问题。但如果你想同时使用两个账号怎么办？

1 2024-10-20 17:11 查看原文

一日一技：如何安全运行别人上传的Python代码？ | 谢乾坤 | Kingname

写后端的同学，有时候需要在网站上实现一个功能，让用户上传或者编写自己的Python代码。后端再运行这些代码。 涉及到用户自己上传代码，我们第一个想到的问题，就是如何避免用户编写危险命令。如果用户的代码里面涉及到下面两行，在不做任何安全过滤的情况下，就会导致服务器的Home文件夹被清空。 12import osos.system(&#x27;rm -rf ~/*&#x27;) 有人想的比较简单，直

1 2024-12-21 11:31 查看原文

助力大语言模型训练，无压力爬取六百亿网页 | 谢乾坤 | Kingname

ChatGPT一炮而红，让国内很多公司开始做大语言模型。然后他们很快就遇到了第一个问题，训练数据怎么来。有些公司去买数据，有些公司招聘爬虫工程师。但如果现在才开发爬虫，那恐怕已经来不及了。 即使爬虫工程师非常厉害，可以破解任意反爬虫机制，可以让爬虫跑满网络带宽，可是要训练出GPT-3这种规模的大语言模型，这个数据并不是一天两天就能爬完的。并且，有很多老网站的数据，早就被删除了，爬虫想爬也爬不到。

1 2024-12-15 08:37 查看原文

一日一技：如何对Python代码进行混淆 | 谢乾坤 | Kingname

目前市面上没有任何方法能够完全避免你的程序被人反编译。即便是3A游戏大作，发布出来没多久也会被人破解。现在只能做到增大反编译的难度，让程序相对无法那么快被破解。 我们知道，Python代码默认是公开的。当你要把一个Python项目给别人运行的时候，一般来说别人就能看到你的全部源代码。我们可以使用Cython、Nuitka对代码进行打包，编译成.so文件、.dll文件或者是可执行文件，从而在一定程度

1 2024-10-16 15:16 查看原文

一日一技：从PDF完美提取表格 | 谢乾坤 | Kingname

在之前很长一段时间，从PDF文件中提取表格都是一个老大难的问题。无论你使用的是PyPDF2还是其他什么第三方库，提取出来的表格都会变成纯文本，难以二次利用。 但现在好消息来了，专业处理PDF的第三方库PyMuPDF升级到了1.23.0，已经支持完美提取PDF中的表格了。还可以把表格转换为Pandas的DataFrame供你分析。

查看原文

一日一技：方法不对，代码翻倍。Requests如何正确重试？ | 谢乾坤 | Kingname

程序员是一个需要持续学习的群体，如果你发现你现在写的代码跟你5年前的代码没什么区别，说明你掉队了。 我们在做Python开发时，经常使用一些第三方库，这些库很多年来持续添加了新功能。但我发现很多同学在使用这些第三方库时，根本不会使用新的功能。他们的代码跟几年前没有任何区别。

查看原文

一日一技：Python装饰器的执行顺序 | 谢乾坤 | Kingname

说到Python装饰器的执行顺序，有很多半吊子张口就来： 靠近函数名的装饰器先执行，远离函数名的装饰器后执行。 这种说法是不准确的。

查看原文