标签: 编码 | 谢乾坤 | Kingname

主站展示位

一日一技：在macOS上查看任意软件的调试信息 | 谢乾坤 | Kingname

如果你使用macOS，想看上面某个软件使用什么技术开发的。那么你可以使用这个方法。它对普通人来说可能没什么用。如果你本来就做macOS软件开发，那么这个方法可能会很有用。 首先，我们知道macOS上面，安装的软件一般都放在/Applications/或者~/Applications文件夹里面。这里我以阿里网盘为例。

查看原文

一日一技：setup.py里面的两个小技巧 | 谢乾坤 | Kingname

当你要自己发布一个Python包时，下面这两个小技巧可能对你有用。 pip安装后执行代码今天公众号粉丝群里面，有同学提问： 这个同学自己开发了一个Python包，这个包在使用pip安装时，会产生一些临时文件。他希望安装完成以后，能够自动清理这些临时文件。

1 2024-04-11 02:39 查看原文

标签: Log | 谢乾坤 | Kingname

高级数据挖掘工程师，《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP，Python, Scrapy, MongoDB, Redis, Pandas, Golang。

1 2024-10-17 18:30 查看原文

标签: LLM | 谢乾坤 | Kingname

高级数据挖掘工程师，《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP，Python, Scrapy, MongoDB, Redis, Pandas, Golang。

1 2024-12-12 08:19 查看原文

一日一技：iOS下的开源免费消息推送服务 | 谢乾坤 | Kingname

我们在部署代码到线上以后，可能会需要在一些情况下给自己发报警通知。如果是公司的线上业务，一般会有公司内部的各种通知工具。 但如果是自己的个人服务，我们应该怎么推送消息呢？有些同学可能使用过叮叮或者飞书机器人，但是这些机器人要发送通知还需要拉个群，稍微有点麻烦。有些同学可能使用的是Telegram，但使用它需要梯子也不太方便。 如果你的手机是iPhone，那么你可以使用一个开源免费超级轻量级的消息推

1 2024-10-15 08:26 查看原文

一日一技：警告但不禁止，遗留代码的优化策略 | 谢乾坤 | Kingname

在之前的多篇文章中，我都反复告诫大家，不要滥用字典来传大量数据。因为当你的函数收到一个字典的时候，你根本不知道这个字典里面有哪些Key，你必须有一层一层往上看，找到所有尝试往字典里面添加新Key的地方，你才能知道它总共有哪些Key。 但是，在正常公司项目中，我们可能会需要维护一些历史遗留代码。代码规模大，函数调用层级非常深。并且之前的人已经使用字典来传递了大量的数据。 短时间内，我们没有办法直接把

查看原文

一日一技：JSON如何快速转成对象？ | 谢乾坤 | Kingname

我们知道，在Python里面，要把JSON转成字典是非常容易的，只需要使用json.loads(JSON字符串)就可以了。 但如果这个JSON转成的字典，嵌套比较深，那么要读取里面的数据就非常麻烦了。如下图所示： 如果我要读取把图中的end减去start字段，那么用字典的时候，代码要写成这样： 1result = info['data'][0]['entities&

1 2024-12-25 02:08 查看原文

标签: 前端 | 谢乾坤 | Kingname

高级数据挖掘工程师，《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP，Python, Scrapy, MongoDB, Redis, Pandas, Golang。

1 2024-12-08 20:16 查看原文

一日一技：自动提取任意信息的通用爬虫 | 谢乾坤 | Kingname

使用过GNE的同学都知道，GNE虽然是通用爬虫，但只是文章类页面的通用爬虫。如果一个页面不是文章页，那么就无能为力了。 随着ChatGPT引领的大语言模型时代到来，这个问题基本上已经不是问题了。我们先来看一个效果。首先打开Linkedin，随便找一个招聘的岗位，如下图所示： 然后，我们直接使用GPT从这里提取信息：

1 2024-10-09 13:30 查看原文

再见2023，你好2024 | 谢乾坤 | Kingname

跟风来写个年终总结。 我记得在2023年元旦，我发了个语音，说我要开始搞播客。结果1年过去了，播客还是没个影子。今年不设这个目标了，免得又拖到明年。 2023年开头的前5个月，是2022年痛苦的延续。我真的太讨厌字节了。每一天都过得非常痛苦。公众号没有时间写，自己的代码也没有时间写，连学习的时间都没有。每天下班就只想躺下。连躺下都躺不安稳，飞书上面的消息一直在轰炸，动不动就开语音。开你妈个锤子的语

查看原文

老板让我加班怎么办？GPTs创建机器人实战 | 谢乾坤 | Kingname

前两天的OpenAI发布会，相信很多同学看完以后都热血沸腾。我之前一直使用的是ChatGPT的免费版本，看完这个发布会以后，立刻就充值了ChatGPT Plus，来试一试这些高级功能。 这两天GPTs功能上线了，短短三天时间，全球网友创建了几千个GPT机器人。我今天也来搞一个玩玩。 使用GPTs创建机器人非常简单，不需要懂任何编程知识，甚至不需要懂Prompt工程，你只需要跟着他的向导，一步一步描

1 2024-12-12 02:50 查看原文

一日一技：如何安全运行别人上传的Python代码？ | 谢乾坤 | Kingname

写后端的同学，有时候需要在网站上实现一个功能，让用户上传或者编写自己的Python代码。后端再运行这些代码。 涉及到用户自己上传代码，我们第一个想到的问题，就是如何避免用户编写危险命令。如果用户的代码里面涉及到下面两行，在不做任何安全过滤的情况下，就会导致服务器的Home文件夹被清空。 12import osos.system('rm -rf ~/*') 有人想的比较简单，直

1 2024-12-21 11:31 查看原文

一日一技：iOS抓包最简单方案 | 谢乾坤 | Kingname

写过爬虫的同学都知道，当我们想对App或者小程序进行抓包时，最常用的工具是Charles、Fiddler或者MimtProxy。但这些软件用起来非常复杂。特别是当你花了一两个小时把这些软件搞定的时候，别人只用了15分钟就已经手动把需要的数据抄写完成了。 我的需求如果你不是专业的爬虫开发者，那么大多数时候你的抓包需求都是很小的需求，手动操作也不是不能。这种时候，我们最需要的是一种简单快捷的，毫不费力

1 2024-12-12 10:42 查看原文

一日一技：如何对Python代码进行混淆 | 谢乾坤 | Kingname

目前市面上没有任何方法能够完全避免你的程序被人反编译。即便是3A游戏大作，发布出来没多久也会被人破解。现在只能做到增大反编译的难度，让程序相对无法那么快被破解。 我们知道，Python代码默认是公开的。当你要把一个Python项目给别人运行的时候，一般来说别人就能看到你的全部源代码。我们可以使用Cython、Nuitka对代码进行打包，编译成.so文件、.dll文件或者是可执行文件，从而在一定程度

1 2024-12-02 17:30 查看原文

一日一技：Python装饰器的执行顺序 | 谢乾坤 | Kingname

说到Python装饰器的执行顺序，有很多半吊子张口就来： 靠近函数名的装饰器先执行，远离函数名的装饰器后执行。 这种说法是不准确的。

查看原文

一日一技：在LangChain中使用Azure OpenAI Embedding服务 | 谢乾坤 | Kingname

如果大家深入使用过ChatGPT的API，或者用过听说过AutoGPT，那么可能会知道，它背后所依赖的语言框架LangChain。LangChain能够让大语言模型具有访问互联网的能力，以及与其他各种API互动交互，甚至是执行系统命令的能力。 ChatGPT的prompt支持的Token数量是有限的，但是使用LangChain，能够很容易实现ChatPDF/ChatDoc的效果。即使一段

查看原文

标签: 语音转文字 | 谢乾坤 | Kingname

高级数据挖掘工程师，《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP，Python, Scrapy, MongoDB, Redis, Pandas, Golang。

查看原文

标签: LangChain | 谢乾坤 | Kingname

高级数据挖掘工程师，《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP，Python, Scrapy, MongoDB, Redis, Pandas, Golang。

1 2024-10-19 11:51 查看原文

标签: 人工智能 | 谢乾坤 | Kingname

高级数据挖掘工程师，《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP，Python, Scrapy, MongoDB, Redis, Pandas, Golang。

1 2024-10-19 09:15 查看原文

一日一技：【最新】再次突破CloudFlare五秒盾付费版 | 谢乾坤 | Kingname

去年我写了一篇文章：一日一技：如何捅穿Cloud Flare的5秒盾 ，这篇文章使用的第三方库『cloudscraper』可以绕过免费版的五秒盾。但遇到付费版就无能为力了。

1 2024-12-10 03:54 查看原文