https://gravatar.cat.net/avatar/4e3d696743cae4996a8f4ef688430b7b?s=96&d=mp&r=g

未闻Code

0.0
给未闻Code打分

感谢您打了2分

详情

全站展示位

标签: 少数派 | 谢乾坤 | Kingname

高级数据挖掘工程师，《Python 爬虫开发从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。微软最有价值专家 MVP，Python, Scrapy, MongoDB, Redis, Pandas, Golang。。。。

查看原文

心灵鸡汤

小故事、疯子和呆子

　　一个心理学教授到疯人院参观，了解疯子的生活状态。一天下来，觉得这些人疯疯癫癫，行事出人意料，可算大开眼界。

　　想不到准备返回时，发现自己的车胎被人下掉了。“一定是哪个疯子干的!教授这样愤愤地想道，动手拿备胎准备装上。

　　事情严重了。下车胎的人居然将螺丝也都下掉。没有螺丝有备胎也上不去啊!

　　教授一筹莫展。在他着急万分的时候，一个疯子蹦蹦跳跳地过来了，嘴里唱着不知名的欢乐歌曲。他发现了困境中的教授，停下来问发生了什么事。

　　教授懒得理他，但出于礼貌还是告诉了他。

　　疯子哈哈大笑说：“我有办法!他从每个轮胎上面下了一个螺丝，这样就拿到三个螺丝将备胎装了上去。

　　教授惊奇感激之余，大为好奇：“请问你是怎么想到这个办法的?”

　　疯子嘻嘻哈哈地笑道：“我是疯子，可我不是呆子啊!”

　　其实，世上有许多的人，由于他们发现了工作中的乐趣，总会表现出与常人不一样的狂热，让人难以理解。许多人在笑话他们是疯子的时候，别人说不定还在笑他呆子呢。

　　【小故事大道理】心得：做人呆呆，处事聪明，在中国尤其不失为一种上佳做人姿态。

列表展示

主站展示位

标签: Linux | 谢乾坤 | Kingname

查看原文

标签: Gne | 谢乾坤 | Kingname

查看原文

标签: Log | 谢乾坤 | Kingname

1 2024-10-17 18:30 查看原文

一日一技：Python工具脚本如何调用外层模块 | 谢乾坤 | Kingname

我三年前写过一篇文章：《小问题大隐患：如何正确设置 Python 项目的入口文件？》。讲到Python项目应该如何正确组织代码结构。入口文件应该在最外面，调用关系应该是从外向内调用。而不要学Java，从一个很深层的文件夹里面往外调用。不过我在这篇文章的最后，也提到了一种例外情况，那就是工具脚本不受这个规则的限制。如下图所示。

查看原文

一日一技：iOS下的开源免费消息推送服务 | 谢乾坤 | Kingname

我们在部署代码到线上以后，可能会需要在一些情况下给自己发报警通知。如果是公司的线上业务，一般会有公司内部的各种通知工具。但如果是自己的个人服务，我们应该怎么推送消息呢？有些同学可能使用过叮叮或者飞书机器人，但是这些机器人要发送通知还需要拉个群，稍微有点麻烦。有些同学可能使用的是Telegram，但使用它需要梯子也不太方便。如果你的手机是iPhone，那么你可以使用一个开源免费超级轻量级的消息推

1 2024-10-15 08:26 查看原文

标签: 消息推送 | 谢乾坤 | Kingname

查看原文

一日一技：JSON如何快速转成对象？ | 谢乾坤 | Kingname

我们知道，在Python里面，要把JSON转成字典是非常容易的，只需要使用json.loads(JSON字符串)就可以了。但如果这个JSON转成的字典，嵌套比较深，那么要读取里面的数据就非常麻烦了。如下图所示：如果我要读取把图中的end减去start字段，那么用字典的时候，代码要写成这样： 1result = info['data'][0]['entities&

查看原文

标签: 前端 | 谢乾坤 | Kingname

1 2024-12-08 20:16 查看原文

一日一测：Bright Data的海外代理测试 | 谢乾坤 | Kingname

上周的公众号文章提到了Bright Data提供的代理服务。没想到他们的运营同学竟然找上了门，问我能不能帮他们做一个评测。我之前使用Bright Data的代理，是因为突然有一天我的HuggingFace爬虫挂了。比较奇怪的是，这个爬虫在我电脑上始终正常运行，但一放到服务器上就请求失败。联想到HuggingFace被封了，而这个爬虫之前一直使用的国内代理供应商，那么原因就很明显了。因为我的电脑是

1 2024-10-17 03:09 查看原文

一日一技：HTML里面提取的JSON怎么解析不了？ | 谢乾坤 | Kingname

我们在开发爬虫的过程中，经常发现有一些网站，会直接把数据以JSON的形式，通过<script>标签放到页面源代码中。如下图所示：有时候请求URL拿到HTML的过程比较麻烦，有些同学习惯先把HTML复制到代码里面，先把解析的逻辑写好，然后再去开发请求HTML的代码。

查看原文

一日一技：在Scrapy中如何拼接URL Query参数？ | 谢乾坤 | Kingname

我们知道，在使用Requests发起GET请求时，可以通过params参数来传递URL参数，让Requests在背后帮你把URL拼接完整。例如下面这段代码： 12345678910111213# 实际需要请求的url参数为：#

1 2024-10-11 05:37 查看原文

标签: 年终总结 | 谢乾坤 | Kingname

1 2024-12-22 14:19 查看原文

再见2023，你好2024 | 谢乾坤 | Kingname

跟风来写个年终总结。我记得在2023年元旦，我发了个语音，说我要开始搞播客。结果1年过去了，播客还是没个影子。今年不设这个目标了，免得又拖到明年。 2023年开头的前5个月，是2022年痛苦的延续。我真的太讨厌字节了。每一天都过得非常痛苦。公众号没有时间写，自己的代码也没有时间写，连学习的时间都没有。每天下班就只想躺下。连躺下都躺不安稳，飞书上面的消息一直在轰炸，动不动就开语音。开你妈个锤子的语

查看原文

一日一技：分布式系统的低成本权限校验机制 | 谢乾坤 | Kingname

经常关注未闻Code的同学都知道，我做了一个叫做GNE的开源项目，它能够自动提取新闻类网页的正文。效果远远好于市面上其他的开源新闻提取工具。大家可能不知道，GNE还有一个高级版，叫做GnePro。它可以让你输入URL就自动提取新闻的正文，提取的字段比GNE多得多。并且已经在8个国家13万个网站上做过测试，识别准确率100%。

1 2024-12-07 18:26 查看原文

一日一技：如何同时使用多个GPT的API Key？ | 谢乾坤 | Kingname

相信很多同学或多或少都在Python中使用过GPT API，通过Python安装openai库，来调用GPT模型。 OpenAI官方文档中给出了一个示例，如下图所示：如果你只有一个API账号，那么你可能不觉得这样写有什么问题。但如果你想同时使用两个账号怎么办？

1 2024-10-20 17:11 查看原文

标签: iOS | 谢乾坤 | Kingname

1 2024-10-20 18:35 查看原文

一日一技：爬虫如何解析JavaScript Object？ | 谢乾坤 | Kingname

我们在开发爬虫的过程中，经常发现有一些网站，会直接把数据放到HTML中的<script>标签里面。这些数据长得有点像JSON，但又有差异，如下图所示：这种格式，我们叫做JavaScript Object。长得很像Python的字典，又很像是JSON。但是这个格式在Python里面，无论直接当字典解析，还是当JSON解析，都会报错，如下图所示：遇到这种情况，有同学准备使用正则表达

1 2024-11-28 17:09 查看原文

一日一技：从PDF完美提取表格 | 谢乾坤 | Kingname

在之前很长一段时间，从PDF文件中提取表格都是一个老大难的问题。无论你使用的是PyPDF2还是其他什么第三方库，提取出来的表格都会变成纯文本，难以二次利用。但现在好消息来了，专业处理PDF的第三方库PyMuPDF升级到了1.23.0，已经支持完美提取PDF中的表格了。还可以把表格转换为Pandas的DataFrame供你分析。

查看原文

一日一技：从PDF完美提取表格 | 谢乾坤 | Kingname

1 2024-12-20 21:08 查看原文

标签: 人工智能 | 谢乾坤 | Kingname

1 2024-10-19 09:15 查看原文

博客寄语：

这个博客已经连续更新超过8年。

实时播报：

详情

标签: 少数派 | 谢乾坤 | Kingname

推荐

心灵鸡汤

列表展示