https://gravatar.cat.net/avatar/4e3d696743cae4996a8f4ef688430b7b?s=96&d=mp&r=g

未闻Code

0.0
给未闻Code打分

感谢您打了2分

详情

全站展示位

请不要再用re.compile了！ | 谢乾坤 | Kingname

如果大家在网上搜索Python 正则表达式，你将会看到大量的垃圾文章会这样写代码： 12345import repattern = re.compile('正则表达式')text = '一段字符串'result = pattern.findall(text) 这些文章的作者，可能是被其他语言的坏习惯影响了，也可能是被其他垃圾文章误导了，不假思索拿来就用。在Python里面，真的不需要使用re.c。。。

查看原文

心灵鸡汤

小故事、博士

　　有一个博士分到一家研究所，成为学历最高的一个人。

　　有一天他到单位后面的小池塘去钓鱼，正好正副所长在他的一左一右，也在钓鱼。

　　他只是微微点了点头，这两个本科生，有啥好聊的呢?

　　不一会儿，正所长放下钓竿，伸伸懒腰，蹭蹭蹭从水面上如飞地走到对面上厕所。

　　博士眼睛睁得都快掉下来了。水上飘?不会吧?这可是一个池塘啊。

　　正所长上完厕所回来的时候，同样也是蹭蹭蹭地从水上飘回来了。

　　怎么回事?博士生又不好去问，自己是博士生哪!

　　过一阵，副所长也站起来，走几步，蹭蹭蹭地飘过水面上厕所。这下子博士更是差点昏倒：不会吧，到了一个江湖高手集中的地方?

　　博士生也内急了。这个池塘两边有围墙，要到对面厕所非得绕十分钟的路，而回单位上又太远，怎么办?

　　博士生也不愿意去问两位所长，憋了半天后，也起身往水里跨：我就不信本科生能过的水面，我博士生不能过。

　　只听咚的一声，博士生栽到了水里。

　　两位所长将他拉了出来，问他为什么要下水，他问：“为什么你们可以走过去呢?”

　　两所长相视一笑：“这池塘里有两排木桩子，由于这两天下雨涨水正好在水面下。我们都知道这木桩的位置，所以可以踩着桩子过去。你怎么不问一声呢?”

　　心得：学历代表过去，只有学习力才能代表将来。尊重经验的人，才能少走弯路。

列表展示

主站展示位

标签: Scrapy | 谢乾坤 | Kingname

查看原文

标签: xpath | 谢乾坤 | Kingname

1 2024-05-06 19:08 查看原文

一日一技：setup.py里面的两个小技巧 | 谢乾坤 | Kingname

当你要自己发布一个Python包时，下面这两个小技巧可能对你有用。 pip安装后执行代码今天公众号粉丝群里面，有同学提问：这个同学自己开发了一个Python包，这个包在使用pip安装时，会产生一些临时文件。他希望安装完成以后，能够自动清理这些临时文件。

1 2024-04-11 02:39 查看原文

一日一技：Python工具脚本如何调用外层模块 | 谢乾坤 | Kingname

我三年前写过一篇文章：《小问题大隐患：如何正确设置 Python 项目的入口文件？》。讲到Python项目应该如何正确组织代码结构。入口文件应该在最外面，调用关系应该是从外向内调用。而不要学Java，从一个很深层的文件夹里面往外调用。不过我在这篇文章的最后，也提到了一种例外情况，那就是工具脚本不受这个规则的限制。如下图所示。

查看原文

标签: LLM | 谢乾坤 | Kingname

1 2024-12-12 08:19 查看原文

一日一技：三分钟离线运行开源大模型 | 谢乾坤 | Kingname

经过一年多的发展，各种开源大模型现在已经相当不错了。国产的Qwen 1.5的生成效果已经能满足一些日常使用。有一些同学可能之前一直在用网页版的ChatGPT、Kimi Chat、文心一言或者通义千问，那么你可能会遇到如下一些问题：网络问题。例如ChatGPT需要特殊的网络才能访问。审查问题。国产大模型会大量屏蔽关键字，有一些你觉得完全没有任何问题的回答，它会告诉你不符合法律规范，不能回答。

1 2024-12-16 20:04 查看原文

标签: Next.js | 谢乾坤 | Kingname

1 2024-12-20 19:09 查看原文

一日一测：Bright Data的海外代理测试 | 谢乾坤 | Kingname

上周的公众号文章提到了Bright Data提供的代理服务。没想到他们的运营同学竟然找上了门，问我能不能帮他们做一个评测。我之前使用Bright Data的代理，是因为突然有一天我的HuggingFace爬虫挂了。比较奇怪的是，这个爬虫在我电脑上始终正常运行，但一放到服务器上就请求失败。联想到HuggingFace被封了，而这个爬虫之前一直使用的国内代理供应商，那么原因就很明显了。因为我的电脑是

1 2024-10-17 03:09 查看原文

一日一技：不走常规路线，列表页1秒搞定 | 谢乾坤 | Kingname

最近遇到一个需求，需要抓取Docusaurus上面的全部文档。如下图所示：抓文档的正文非常简单，使用GNE高级版，只要有URL直接就能抓取下来，如下图所示：但现在的问题是，我怎么获取到每一篇文档的URL？

1 2024-12-06 18:49 查看原文

标签: scrapy_redis | 谢乾坤 | Kingname

1 2024-12-14 12:14 查看原文

一日一技：分布式系统的低成本权限校验机制 | 谢乾坤 | Kingname

经常关注未闻Code的同学都知道，我做了一个叫做GNE的开源项目，它能够自动提取新闻类网页的正文。效果远远好于市面上其他的开源新闻提取工具。大家可能不知道，GNE还有一个高级版，叫做GnePro。它可以让你输入URL就自动提取新闻的正文，提取的字段比GNE多得多。并且已经在8个国家13万个网站上做过测试，识别准确率100%。

1 2024-12-07 18:26 查看原文

GnePro：文章类通用爬虫接口 | 谢乾坤 | Kingname

GnePro是开源项目GNE的付费版，能够实现如下功能：输入任意文章页面的URL，返回标题/作者/正文/发布时间/图片/面包屑等一系列信息支持异步加载文章页提取支持上传自定义的HTML代码提取正文支持自动检测网页编码支持自动提取网页全部URL 在8个国家13万个新闻类网站进行测试,准确率高达90%

1 2024-10-20 19:18 查看原文

助力大语言模型训练，无压力爬取六百亿网页 | 谢乾坤 | Kingname

ChatGPT一炮而红，让国内很多公司开始做大语言模型。然后他们很快就遇到了第一个问题，训练数据怎么来。有些公司去买数据，有些公司招聘爬虫工程师。但如果现在才开发爬虫，那恐怕已经来不及了。即使爬虫工程师非常厉害，可以破解任意反爬虫机制，可以让爬虫跑满网络带宽，可是要训练出GPT-3这种规模的大语言模型，这个数据并不是一天两天就能爬完的。并且，有很多老网站的数据，早就被删除了，爬虫想爬也爬不到。

1 2024-12-15 08:37 查看原文

标签: 抓包 | 谢乾坤 | Kingname

1 2024-12-07 08:46 查看原文

一日一技：从PDF完美提取表格 | 谢乾坤 | Kingname

在之前很长一段时间，从PDF文件中提取表格都是一个老大难的问题。无论你使用的是PyPDF2还是其他什么第三方库，提取出来的表格都会变成纯文本，难以二次利用。但现在好消息来了，专业处理PDF的第三方库PyMuPDF升级到了1.23.0，已经支持完美提取PDF中的表格了。还可以把表格转换为Pandas的DataFrame供你分析。

查看原文

一日一技：方法不对，代码翻倍。Requests如何正确重试？ | 谢乾坤 | Kingname

程序员是一个需要持续学习的群体，如果你发现你现在写的代码跟你5年前的代码没什么区别，说明你掉队了。我们在做Python开发时，经常使用一些第三方库，这些库很多年来持续添加了新功能。但我发现很多同学在使用这些第三方库时，根本不会使用新的功能。他们的代码跟几年前没有任何区别。

查看原文

一日一技：从PDF完美提取表格 | 谢乾坤 | Kingname

1 2024-12-20 21:08 查看原文

标签: 装饰器 | 谢乾坤 | Kingname

1 2024-12-15 15:45 查看原文

轻声低语，藏在光芒下的语音转文字模型Whisper | 谢乾坤 | Kingname

ChatGPT的模型gpt-3.5-turbo发布当天，OpenAI还开源了一个语音转文本的模型：Whisper。但由于ChatGPT本身太过于耀眼，很多人都忽略了Whisper的存在。我当时也是这样，我一度以为，Whisper也是一个API，需要发送POST请求到OpenAI的服务器上，然后它传回识别的结果。所以我很长一段时间一直都没有试用过这个模型。直到前几天，我看到有人在少数派上面发了一

1 2024-12-15 17:33 查看原文

一日一技：Python装饰器的执行顺序 | 谢乾坤 | Kingname

说到Python装饰器的执行顺序，有很多半吊子张口就来：靠近函数名的装饰器先执行，远离函数名的装饰器后执行。这种说法是不准确的。

查看原文

博客寄语：

这个博客已经连续更新超过8年。

实时播报：

详情

请不要再用re.compile了！ | 谢乾坤 | Kingname

推荐

心灵鸡汤

列表展示