标签: Nginx | 谢乾坤 | Kingname

主站展示位

标签: xpath | 谢乾坤 | Kingname

高级数据挖掘工程师，《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP，Python, Scrapy, MongoDB, Redis, Pandas, Golang。

1 2024-05-06 19:08 查看原文

一日一技：setup.py里面的两个小技巧 | 谢乾坤 | Kingname

当你要自己发布一个Python包时，下面这两个小技巧可能对你有用。 pip安装后执行代码今天公众号粉丝群里面，有同学提问： 这个同学自己开发了一个Python包，这个包在使用pip安装时，会产生一些临时文件。他希望安装完成以后，能够自动清理这些临时文件。

1 2024-04-11 02:39 查看原文

标签: Log | 谢乾坤 | Kingname

高级数据挖掘工程师，《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP，Python, Scrapy, MongoDB, Redis, Pandas, Golang。

1 2024-10-17 18:30 查看原文

一日一技：Python工具脚本如何调用外层模块 | 谢乾坤 | Kingname

我三年前写过一篇文章：《小问题大隐患：如何正确设置 Python 项目的入口文件？》。讲到Python项目应该如何正确组织代码结构。入口文件应该在最外面，调用关系应该是从外向内调用。而不要学Java，从一个很深层的文件夹里面往外调用。 不过我在这篇文章的最后，也提到了一种例外情况，那就是工具脚本不受这个规则的限制。如下图所示。

查看原文

一日一技：警告但不禁止，遗留代码的优化策略 | 谢乾坤 | Kingname

在之前的多篇文章中，我都反复告诫大家，不要滥用字典来传大量数据。因为当你的函数收到一个字典的时候，你根本不知道这个字典里面有哪些Key，你必须有一层一层往上看，找到所有尝试往字典里面添加新Key的地方，你才能知道它总共有哪些Key。 但是，在正常公司项目中，我们可能会需要维护一些历史遗留代码。代码规模大，函数调用层级非常深。并且之前的人已经使用字典来传递了大量的数据。 短时间内，我们没有办法直接把

查看原文

标签: 前端 | 谢乾坤 | Kingname

高级数据挖掘工程师，《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP，Python, Scrapy, MongoDB, Redis, Pandas, Golang。

1 2024-12-08 20:16 查看原文

一日一技：next.js如何正确处理跨域问题？ | 谢乾坤 | Kingname

我以前一直使用Vue来写前端。去年下半年接手了一个基于React + Next.js的项目，于是顺带学习了一下Next.js。由于Next.js的特点，这个项目的前后端是放在一起的。一开始没什么问题，看了半天文档就上手了。 上周我们需要在另一个网页项目中，调用这个项目的后端接口，于是就需要处理跨域请求的问题。但我发现按照网上的方法，跨域问题依然存在。这个问题浪费了我不少时间，好在最后终于找到了原因

查看原文

一日一测：Bright Data的海外代理测试 | 谢乾坤 | Kingname

上周的公众号文章提到了Bright Data提供的代理服务。没想到他们的运营同学竟然找上了门，问我能不能帮他们做一个评测。 我之前使用Bright Data的代理，是因为突然有一天我的HuggingFace爬虫挂了。比较奇怪的是，这个爬虫在我电脑上始终正常运行，但一放到服务器上就请求失败。联想到HuggingFace被封了，而这个爬虫之前一直使用的国内代理供应商，那么原因就很明显了。因为我的电脑是

1 2024-10-17 03:09 查看原文

标签: scrapy_redis | 谢乾坤 | Kingname

高级数据挖掘工程师，《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP，Python, Scrapy, MongoDB, Redis, Pandas, Golang。

1 2024-12-14 12:14 查看原文

一日一技：如何同时使用多个GPT的API Key？ | 谢乾坤 | Kingname

相信很多同学或多或少都在Python中使用过GPT API，通过Python安装openai库，来调用GPT模型。 OpenAI官方文档中给出了一个示例，如下图所示： 如果你只有一个API账号，那么你可能不觉得这样写有什么问题。但如果你想同时使用两个账号怎么办？

1 2024-10-20 17:11 查看原文

一日一技：如何安全运行别人上传的Python代码？ | 谢乾坤 | Kingname

写后端的同学，有时候需要在网站上实现一个功能，让用户上传或者编写自己的Python代码。后端再运行这些代码。 涉及到用户自己上传代码，我们第一个想到的问题，就是如何避免用户编写危险命令。如果用户的代码里面涉及到下面两行，在不做任何安全过滤的情况下，就会导致服务器的Home文件夹被清空。 12import osos.system('rm -rf ~/*') 有人想的比较简单，直

1 2024-12-21 11:31 查看原文

标签: 抓包 | 谢乾坤 | Kingname

高级数据挖掘工程师，《Python 爬虫开发 从入门到实战》、《左手 MongoDB 右手 Redis——从入门到商业实战》作者。 微软最有价值专家 MVP，Python, Scrapy, MongoDB, Redis, Pandas, Golang。

1 2024-12-07 08:46 查看原文

一日一技：iOS抓包最简单方案 | 谢乾坤 | Kingname

写过爬虫的同学都知道，当我们想对App或者小程序进行抓包时，最常用的工具是Charles、Fiddler或者MimtProxy。但这些软件用起来非常复杂。特别是当你花了一两个小时把这些软件搞定的时候，别人只用了15分钟就已经手动把需要的数据抄写完成了。 我的需求如果你不是专业的爬虫开发者，那么大多数时候你的抓包需求都是很小的需求，手动操作也不是不能。这种时候，我们最需要的是一种简单快捷的，毫不费力

1 2024-12-12 10:42 查看原文

一日一技：方法不对，代码翻倍。Requests如何正确重试？ | 谢乾坤 | Kingname

程序员是一个需要持续学习的群体，如果你发现你现在写的代码跟你5年前的代码没什么区别，说明你掉队了。 我们在做Python开发时，经常使用一些第三方库，这些库很多年来持续添加了新功能。但我发现很多同学在使用这些第三方库时，根本不会使用新的功能。他们的代码跟几年前没有任何区别。

查看原文

一日一技：在Scrapy中如何拼接URL Query参数？ | 谢乾坤 | Kingname

我们知道，在使用Requests发起GET请求时，可以通过params参数来传递URL参数，让Requests在背后帮你把URL拼接完整。例如下面这段代码： 12345678910111213# 实际需要请求的url参数为：#

1 2024-12-01 12:57 查看原文

一日一技：如何对Python代码进行混淆 | 谢乾坤 | Kingname

目前市面上没有任何方法能够完全避免你的程序被人反编译。即便是3A游戏大作，发布出来没多久也会被人破解。现在只能做到增大反编译的难度，让程序相对无法那么快被破解。 我们知道，Python代码默认是公开的。当你要把一个Python项目给别人运行的时候，一般来说别人就能看到你的全部源代码。我们可以使用Cython、Nuitka对代码进行打包，编译成.so文件、.dll文件或者是可执行文件，从而在一定程度

1 2024-12-02 17:30 查看原文

一日一技：Python装饰器的执行顺序 | 谢乾坤 | Kingname

说到Python装饰器的执行顺序，有很多半吊子张口就来： 靠近函数名的装饰器先执行，远离函数名的装饰器后执行。 这种说法是不准确的。

查看原文

一日一技：Prompt逆向工程，破解小红书文案生成器 | 谢乾坤 | Kingname

关注我公众号的很多同学都会写爬虫。但如果想把爬虫写得好，那一定要掌握一些逆向技术，对网页的JavaScript和安卓App进行逆向，从而突破签名或者绕过反爬虫限制。 最近半年，大语言模型异军突起，越来越多的公司基于GPT3.5、GPT-4或者其他大语言模型实现了各种高级功能。在使用大语言模型时，Prompt写得好不好，决定了最终的产出好不好。甚至因此产生了一门新的学问，叫做Prompt Engin

1 2024-11-30 14:21 查看原文

轻声低语，藏在光芒下的语音转文字模型Whisper | 谢乾坤 | Kingname

ChatGPT的模型gpt-3.5-turbo发布当天，OpenAI还开源了一个语音转文本的模型：Whisper。但由于ChatGPT本身太过于耀眼，很多人都忽略了Whisper的存在。 我当时也是这样，我一度以为，Whisper也是一个API，需要发送POST请求到OpenAI的服务器上，然后它传回识别的结果。所以我很长一段时间一直都没有试用过这个模型。 直到前几天，我看到有人在少数派上面发了一

1 2024-12-15 17:33 查看原文

一日一技：【最新】再次突破CloudFlare五秒盾付费版 | 谢乾坤 | Kingname

去年我写了一篇文章：一日一技：如何捅穿Cloud Flare的5秒盾 ，这篇文章使用的第三方库『cloudscraper』可以绕过免费版的五秒盾。但遇到付费版就无能为力了。

1 2024-12-10 03:54 查看原文