https://gravatar.cat.net/avatar/4e3d696743cae4996a8f4ef688430b7b?s=96&d=mp&r=g

未闻Code

0.0
给未闻Code打分

感谢您打了2分

详情

全站展示位

标签: NLP | 谢乾坤 | Kingname

高级数据挖掘工程师，《Python 爬虫开发从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。微软最有价值专家 MVP，Python, Scrapy, MongoDB, Redis, Pandas, Golang。。。。

查看原文

心灵鸡汤

小故事、疯子和呆子

　　一个心理学教授到疯人院参观，了解疯子的生活状态。一天下来，觉得这些人疯疯癫癫，行事出人意料，可算大开眼界。

　　想不到准备返回时，发现自己的车胎被人下掉了。“一定是哪个疯子干的!教授这样愤愤地想道，动手拿备胎准备装上。

　　事情严重了。下车胎的人居然将螺丝也都下掉。没有螺丝有备胎也上不去啊!

　　教授一筹莫展。在他着急万分的时候，一个疯子蹦蹦跳跳地过来了，嘴里唱着不知名的欢乐歌曲。他发现了困境中的教授，停下来问发生了什么事。

　　教授懒得理他，但出于礼貌还是告诉了他。

　　疯子哈哈大笑说：“我有办法!他从每个轮胎上面下了一个螺丝，这样就拿到三个螺丝将备胎装了上去。

　　教授惊奇感激之余，大为好奇：“请问你是怎么想到这个办法的?”

　　疯子嘻嘻哈哈地笑道：“我是疯子，可我不是呆子啊!”

　　其实，世上有许多的人，由于他们发现了工作中的乐趣，总会表现出与常人不一样的狂热，让人难以理解。许多人在笑话他们是疯子的时候，别人说不定还在笑他呆子呢。

　　【小故事大道理】心得：做人呆呆，处事聪明，在中国尤其不失为一种上佳做人姿态。

列表展示

主站展示位

标签: Scrapy | 谢乾坤 | Kingname

查看原文

一日一技：在macOS上查看任意软件的调试信息 | 谢乾坤 | Kingname

如果你使用macOS，想看上面某个软件使用什么技术开发的。那么你可以使用这个方法。它对普通人来说可能没什么用。如果你本来就做macOS软件开发，那么这个方法可能会很有用。首先，我们知道macOS上面，安装的软件一般都放在/Applications/或者~/Applications文件夹里面。这里我以阿里网盘为例。

查看原文

一日一技：setup.py里面的两个小技巧 | 谢乾坤 | Kingname

当你要自己发布一个Python包时，下面这两个小技巧可能对你有用。 pip安装后执行代码今天公众号粉丝群里面，有同学提问：这个同学自己开发了一个Python包，这个包在使用pip安装时，会产生一些临时文件。他希望安装完成以后，能够自动清理这些临时文件。

1 2024-04-11 02:39 查看原文

标签: Linux | 谢乾坤 | Kingname

查看原文

标签: python | 谢乾坤 | Kingname

1 2024-05-23 12:44 查看原文

一日一技：Python工具脚本如何调用外层模块 | 谢乾坤 | Kingname

我三年前写过一篇文章：《小问题大隐患：如何正确设置 Python 项目的入口文件？》。讲到Python项目应该如何正确组织代码结构。入口文件应该在最外面，调用关系应该是从外向内调用。而不要学Java，从一个很深层的文件夹里面往外调用。不过我在这篇文章的最后，也提到了一种例外情况，那就是工具脚本不受这个规则的限制。如下图所示。

查看原文

一日一技：三分钟离线运行开源大模型 | 谢乾坤 | Kingname

经过一年多的发展，各种开源大模型现在已经相当不错了。国产的Qwen 1.5的生成效果已经能满足一些日常使用。有一些同学可能之前一直在用网页版的ChatGPT、Kimi Chat、文心一言或者通义千问，那么你可能会遇到如下一些问题：网络问题。例如ChatGPT需要特殊的网络才能访问。审查问题。国产大模型会大量屏蔽关键字，有一些你觉得完全没有任何问题的回答，它会告诉你不符合法律规范，不能回答。

1 2024-12-16 20:04 查看原文

一日一技：iOS下的开源免费消息推送服务 | 谢乾坤 | Kingname

我们在部署代码到线上以后，可能会需要在一些情况下给自己发报警通知。如果是公司的线上业务，一般会有公司内部的各种通知工具。但如果是自己的个人服务，我们应该怎么推送消息呢？有些同学可能使用过叮叮或者飞书机器人，但是这些机器人要发送通知还需要拉个群，稍微有点麻烦。有些同学可能使用的是Telegram，但使用它需要梯子也不太方便。如果你的手机是iPhone，那么你可以使用一个开源免费超级轻量级的消息推

1 2024-10-15 08:26 查看原文

标签: 消息推送 | 谢乾坤 | Kingname

查看原文

一日一技：警告但不禁止，遗留代码的优化策略 | 谢乾坤 | Kingname

在之前的多篇文章中，我都反复告诫大家，不要滥用字典来传大量数据。因为当你的函数收到一个字典的时候，你根本不知道这个字典里面有哪些Key，你必须有一层一层往上看，找到所有尝试往字典里面添加新Key的地方，你才能知道它总共有哪些Key。但是，在正常公司项目中，我们可能会需要维护一些历史遗留代码。代码规模大，函数调用层级非常深。并且之前的人已经使用字典来传递了大量的数据。短时间内，我们没有办法直接把

查看原文

一日一技：JSON如何快速转成对象？ | 谢乾坤 | Kingname

我们知道，在Python里面，要把JSON转成字典是非常容易的，只需要使用json.loads(JSON字符串)就可以了。但如果这个JSON转成的字典，嵌套比较深，那么要读取里面的数据就非常麻烦了。如下图所示：如果我要读取把图中的end减去start字段，那么用字典的时候，代码要写成这样： 1result = info['data'][0]['entities&

查看原文

标签: 前端 | 谢乾坤 | Kingname

1 2024-12-08 20:16 查看原文

一日一技：自动提取任意信息的通用爬虫 | 谢乾坤 | Kingname

使用过GNE的同学都知道，GNE虽然是通用爬虫，但只是文章类页面的通用爬虫。如果一个页面不是文章页，那么就无能为力了。随着ChatGPT引领的大语言模型时代到来，这个问题基本上已经不是问题了。我们先来看一个效果。首先打开Linkedin，随便找一个招聘的岗位，如下图所示：然后，我们直接使用GPT从这里提取信息：

1 2024-10-09 13:30 查看原文

标签: scrapy_redis | 谢乾坤 | Kingname

1 2024-12-14 12:14 查看原文

标签: PDF | 谢乾坤 | Kingname

1 2024-12-22 08:43 查看原文

标签: 抓包 | 谢乾坤 | Kingname

1 2024-12-07 08:46 查看原文

一日一技：iOS抓包最简单方案 | 谢乾坤 | Kingname

写过爬虫的同学都知道，当我们想对App或者小程序进行抓包时，最常用的工具是Charles、Fiddler或者MimtProxy。但这些软件用起来非常复杂。特别是当你花了一两个小时把这些软件搞定的时候，别人只用了15分钟就已经手动把需要的数据抄写完成了。我的需求如果你不是专业的爬虫开发者，那么大多数时候你的抓包需求都是很小的需求，手动操作也不是不能。这种时候，我们最需要的是一种简单快捷的，毫不费力

1 2024-12-12 10:42 查看原文

一日一技：如何对Python代码进行混淆 | 谢乾坤 | Kingname

目前市面上没有任何方法能够完全避免你的程序被人反编译。即便是3A游戏大作，发布出来没多久也会被人破解。现在只能做到增大反编译的难度，让程序相对无法那么快被破解。我们知道，Python代码默认是公开的。当你要把一个Python项目给别人运行的时候，一般来说别人就能看到你的全部源代码。我们可以使用Cython、Nuitka对代码进行打包，编译成.so文件、.dll文件或者是可执行文件，从而在一定程度

1 2024-10-16 15:16 查看原文

一日一技：在Scrapy中如何拼接URL Query参数？ | 谢乾坤 | Kingname

我们知道，在使用Requests发起GET请求时，可以通过params参数来传递URL参数，让Requests在背后帮你把URL拼接完整。例如下面这段代码： 12345678910111213# 实际需要请求的url参数为：#

1 2024-12-01 12:57 查看原文

一日一技：【最新】再次突破CloudFlare五秒盾付费版 | 谢乾坤 | Kingname

去年我写了一篇文章：一日一技：如何捅穿Cloud Flare的5秒盾，这篇文章使用的第三方库『cloudscraper』可以绕过免费版的五秒盾。但遇到付费版就无能为力了。

1 2024-12-10 03:54 查看原文

博客寄语：

这个博客已经连续更新超过8年。

实时播报：

详情

标签: NLP | 谢乾坤 | Kingname

推荐

心灵鸡汤

列表展示