标签: 博弈论 | 谢乾坤 | Kingname

主站展示位

标签: Scrapy | 谢乾坤 | Kingname

高级数据挖掘工程师，《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP，Python, Scrapy, MongoDB, Redis, Pandas, Golang。

查看原文

标签: xpath | 谢乾坤 | Kingname

高级数据挖掘工程师，《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP，Python, Scrapy, MongoDB, Redis, Pandas, Golang。

1 2024-05-06 19:08 查看原文

标签: python | 谢乾坤 | Kingname

高级数据挖掘工程师，《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP，Python, Scrapy, MongoDB, Redis, Pandas, Golang。

1 2024-05-23 12:44 查看原文

一日一技：怎么中文也属于字母？ | 谢乾坤 | Kingname

我最近在使用一个第三方库，叫做RapidFuzz。它有一个工具函数，叫做utils.default_process，在官方文档里面，是这样介绍的： 红色方框里面说，这个函数可以移除所有的非alphanumeric字符。如果我们使用翻译软件，会发现alphanumeric的意思是字母和数字。如下图所示： 因此，我想当然的觉得，这个功能函数，只会保留26个英文字母的大小写加上10个数字，一共62个字

1 2024-12-22 08:11 查看原文

一日一技：Python工具脚本如何调用外层模块 | 谢乾坤 | Kingname

我三年前写过一篇文章：《小问题大隐患：如何正确设置 Python 项目的入口文件？》。讲到Python项目应该如何正确组织代码结构。入口文件应该在最外面，调用关系应该是从外向内调用。而不要学Java，从一个很深层的文件夹里面往外调用。 不过我在这篇文章的最后，也提到了一种例外情况，那就是工具脚本不受这个规则的限制。如下图所示。

查看原文

一日一技：Scrapy最新版不兼容scrapy_redis的问题 | 谢乾坤 | Kingname

有不少同学在写爬虫时，会使用Scrapy + scrapy_redis实现分布式爬虫。不过scrapy_redis最近几年更新已经越来越少，有一种廉颇老矣的感觉。Scrapy的很多更新，scrapy_redis已经跟不上了。

查看原文

拒绝成为这样的程序员 | 谢乾坤 | Kingname

产品经理这两天在跟我抱怨他们公司的一个码农。听的我火冒三丈，差点把跟了我十多年的搪瓷水杯砸烂。 正好在知识星球和微信群里面，有不少同学跟我咨询程序员的职业发展以及怎么应对三十岁危机。 借此机会，我准备用几篇文章来讲讲自己的经验和个人的观点。

查看原文

一日一技：警告但不禁止，遗留代码的优化策略 | 谢乾坤 | Kingname

在之前的多篇文章中，我都反复告诫大家，不要滥用字典来传大量数据。因为当你的函数收到一个字典的时候，你根本不知道这个字典里面有哪些Key，你必须有一层一层往上看，找到所有尝试往字典里面添加新Key的地方，你才能知道它总共有哪些Key。 但是，在正常公司项目中，我们可能会需要维护一些历史遗留代码。代码规模大，函数调用层级非常深。并且之前的人已经使用字典来传递了大量的数据。 短时间内，我们没有办法直接把

查看原文

一日一技：不走常规路线，列表页1秒搞定 | 谢乾坤 | Kingname

最近遇到一个需求，需要抓取Docusaurus上面的全部文档。如下图所示： 抓文档的正文非常简单，使用GNE高级版，只要有URL直接就能抓取下来，如下图所示： 但现在的问题是，我怎么获取到每一篇文档的URL？

1 2024-12-06 18:49 查看原文

一日一技：如何同时在多个分支写代码？ | 谢乾坤 | Kingname

当我们在维护公司项目时，可能会遇到这样的场景：我正在开发一个新功能，突然需要修一个Bug。 这个时候，有些同学是这样做的： 12345678git add .git commit -m 'WIP'git checkout -b 新的分支名...新的代码修改完成并push以后...git checkout 老分支...继续开发... 更有一些经验的同学，可能会这样写： 1234

1 2024-12-17 14:51 查看原文

标签: scrapy_redis | 谢乾坤 | Kingname

高级数据挖掘工程师，《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP，Python, Scrapy, MongoDB, Redis, Pandas, Golang。

1 2024-12-14 12:14 查看原文

一日一技：分布式系统的低成本权限校验机制 | 谢乾坤 | Kingname

经常关注未闻Code的同学都知道，我做了一个叫做GNE的开源项目，它能够自动提取新闻类网页的正文。效果远远好于市面上其他的开源新闻提取工具。 大家可能不知道，GNE还有一个高级版，叫做GnePro。它可以让你输入URL就自动提取新闻的正文，提取的字段比GNE多得多。并且已经在8个国家13万个网站上做过测试，识别准确率100%。

1 2024-12-07 18:26 查看原文

一日一技：如何同时使用多个GPT的API Key？ | 谢乾坤 | Kingname

相信很多同学或多或少都在Python中使用过GPT API，通过Python安装openai库，来调用GPT模型。 OpenAI官方文档中给出了一个示例，如下图所示： 如果你只有一个API账号，那么你可能不觉得这样写有什么问题。但如果你想同时使用两个账号怎么办？

1 2024-10-20 17:11 查看原文

GnePro：文章类通用爬虫接口 | 谢乾坤 | Kingname

GnePro是开源项目GNE的付费版，能够实现如下功能： 输入任意文章页面的URL，返回标题/作者/正文/发布时间/图片/面包屑等一系列信息 支持异步加载文章页提取 支持上传自定义的HTML代码提取正文 支持自动检测网页编码 支持自动提取网页全部URL 在8个国家13万个新闻类网站进行测试,准确率高达90%

1 2024-10-20 19:18 查看原文

标签: iOS | 谢乾坤 | Kingname

高级数据挖掘工程师，《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP，Python, Scrapy, MongoDB, Redis, Pandas, Golang。

1 2024-10-20 18:35 查看原文

一日一技：Requests被网站识别怎么办？ | 谢乾坤 | Kingname

现在有很多网站，已经能够通过JA3或者其他指纹信息，来识别你的请求是不是Requests发起的。这种情况下，你无论怎么改Headers还是代理，都没有任何意义。 我之前写过一篇文章：Python如何突破JA3，但方法非常复杂，很多初学者表示上手有难度。那么今天我来一个更简单的方法，只需要修改两行代码。并且不仅能过JA3，还能过Akamai。

1 2024-12-15 23:14 查看原文

一日一技：Python装饰器的执行顺序 | 谢乾坤 | Kingname

说到Python装饰器的执行顺序，有很多半吊子张口就来： 靠近函数名的装饰器先执行，远离函数名的装饰器后执行。 这种说法是不准确的。

查看原文

一日一技：Prompt逆向工程，破解小红书文案生成器 | 谢乾坤 | Kingname

关注我公众号的很多同学都会写爬虫。但如果想把爬虫写得好，那一定要掌握一些逆向技术，对网页的JavaScript和安卓App进行逆向，从而突破签名或者绕过反爬虫限制。 最近半年，大语言模型异军突起，越来越多的公司基于GPT3.5、GPT-4或者其他大语言模型实现了各种高级功能。在使用大语言模型时，Prompt写得好不好，决定了最终的产出好不好。甚至因此产生了一门新的学问，叫做Prompt Engin

1 2024-11-30 14:21 查看原文

标签: 人工智能 | 谢乾坤 | Kingname

高级数据挖掘工程师，《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP，Python, Scrapy, MongoDB, Redis, Pandas, Golang。

1 2024-10-19 09:15 查看原文

一日一技：【最新】再次突破CloudFlare五秒盾付费版 | 谢乾坤 | Kingname

去年我写了一篇文章：一日一技：如何捅穿Cloud Flare的5秒盾 ，这篇文章使用的第三方库『cloudscraper』可以绕过免费版的五秒盾。但遇到付费版就无能为力了。

1 2024-12-10 03:54 查看原文