https://gravatar.cat.net/avatar/4e3d696743cae4996a8f4ef688430b7b?s=96&d=mp&r=g

未闻Code

0.0
给未闻Code打分

感谢您打了2分

详情

全站展示位

使用AWS亚马逊云搭建Gmail转发服务（一） | 谢乾坤 | Kingname

故事背景2014年12月28号开始，Gmail被伟大的墙从协议上封禁，POP3、SMTP、IAMP全部阵亡。于是不仅网页不能打开Gmail，连邮件客服端都不能使用Gmail收发邮件了。 Gmail在国内的用户相当的广泛，难道就真的不用了吗？当然不是。虽然使用VPN可以翻出长城，但是开着VPN做其他事情又不太方便。于是，一种Gmail的转发服务变得重要起来。这篇文章将详细介绍如何使用亚马逊云AWS。。。

查看原文

心灵鸡汤

　　唐代白居易不仅是一位著名诗人，还是一位清正廉洁的官员，同时他也是中国历史上罕见的、也许是唯一通过自己的诗歌作品自觉向社会申报个人收入与财产的古代官吏。从壮年到老年，他总是以惭愧的心情将自己在担任不同职务时所得俸禄的多寡，悉数写进诗中向社会公布。

　　在担任左拾遗时，他写到：“月惭谏纸二千张，岁愧俸钱三十万。”

　　在担任苏州刺史时，他写到：“十万户州尤觉贵，二千食禄敢言贫？”

　　在担任太子少傅时，他写到：“月俸百千官二品，朝廷雇我作闲人。”

　　在他的人生就要画上句号时，他写到：“先卖南坊十亩园，次卖东郭五顷田，然后兼卖所居宅，彷佛获缗二三千......但恐此钱用不尽，即先朝露归夜泉。”

　　白居易敢于将个人收入和个人财产状况向朝廷及全社会公布，充分说明了他清廉自守的高尚情操。

列表展示

主站展示位

一日一技：setup.py里面的两个小技巧 | 谢乾坤 | Kingname

当你要自己发布一个Python包时，下面这两个小技巧可能对你有用。 pip安装后执行代码今天公众号粉丝群里面，有同学提问：这个同学自己开发了一个Python包，这个包在使用pip安装时，会产生一些临时文件。他希望安装完成以后，能够自动清理这些临时文件。

1 2024-04-11 02:39 查看原文

标签: Linux | 谢乾坤 | Kingname

查看原文

标签: python | 谢乾坤 | Kingname

1 2024-05-23 12:44 查看原文

一日一技：Python工具脚本如何调用外层模块 | 谢乾坤 | Kingname

我三年前写过一篇文章：《小问题大隐患：如何正确设置 Python 项目的入口文件？》。讲到Python项目应该如何正确组织代码结构。入口文件应该在最外面，调用关系应该是从外向内调用。而不要学Java，从一个很深层的文件夹里面往外调用。不过我在这篇文章的最后，也提到了一种例外情况，那就是工具脚本不受这个规则的限制。如下图所示。

查看原文

标签: LLM | 谢乾坤 | Kingname

1 2024-12-12 08:19 查看原文

一日一技：三分钟离线运行开源大模型 | 谢乾坤 | Kingname

经过一年多的发展，各种开源大模型现在已经相当不错了。国产的Qwen 1.5的生成效果已经能满足一些日常使用。有一些同学可能之前一直在用网页版的ChatGPT、Kimi Chat、文心一言或者通义千问，那么你可能会遇到如下一些问题：网络问题。例如ChatGPT需要特殊的网络才能访问。审查问题。国产大模型会大量屏蔽关键字，有一些你觉得完全没有任何问题的回答，它会告诉你不符合法律规范，不能回答。

1 2024-12-16 20:04 查看原文

拒绝成为这样的程序员 | 谢乾坤 | Kingname

产品经理这两天在跟我抱怨他们公司的一个码农。听的我火冒三丈，差点把跟了我十多年的搪瓷水杯砸烂。正好在知识星球和微信群里面，有不少同学跟我咨询程序员的职业发展以及怎么应对三十岁危机。借此机会，我准备用几篇文章来讲讲自己的经验和个人的观点。

查看原文

一日一技：JSON如何快速转成对象？ | 谢乾坤 | Kingname

我们知道，在Python里面，要把JSON转成字典是非常容易的，只需要使用json.loads(JSON字符串)就可以了。但如果这个JSON转成的字典，嵌套比较深，那么要读取里面的数据就非常麻烦了。如下图所示：如果我要读取把图中的end减去start字段，那么用字典的时候，代码要写成这样： 1result = info['data'][0]['entities&

查看原文

标签: 前端 | 谢乾坤 | Kingname

1 2024-12-08 20:16 查看原文

一日一测：Bright Data的海外代理测试 | 谢乾坤 | Kingname

上周的公众号文章提到了Bright Data提供的代理服务。没想到他们的运营同学竟然找上了门，问我能不能帮他们做一个评测。我之前使用Bright Data的代理，是因为突然有一天我的HuggingFace爬虫挂了。比较奇怪的是，这个爬虫在我电脑上始终正常运行，但一放到服务器上就请求失败。联想到HuggingFace被封了，而这个爬虫之前一直使用的国内代理供应商，那么原因就很明显了。因为我的电脑是

1 2024-10-17 03:09 查看原文

一日一技：HTML里面提取的JSON怎么解析不了？ | 谢乾坤 | Kingname

我们在开发爬虫的过程中，经常发现有一些网站，会直接把数据以JSON的形式，通过<script>标签放到页面源代码中。如下图所示：有时候请求URL拿到HTML的过程比较麻烦，有些同学习惯先把HTML复制到代码里面，先把解析的逻辑写好，然后再去开发请求HTML的代码。

查看原文

标签: 年终总结 | 谢乾坤 | Kingname

1 2024-12-22 14:19 查看原文

一日一技：分布式系统的低成本权限校验机制 | 谢乾坤 | Kingname

经常关注未闻Code的同学都知道，我做了一个叫做GNE的开源项目，它能够自动提取新闻类网页的正文。效果远远好于市面上其他的开源新闻提取工具。大家可能不知道，GNE还有一个高级版，叫做GnePro。它可以让你输入URL就自动提取新闻的正文，提取的字段比GNE多得多。并且已经在8个国家13万个网站上做过测试，识别准确率100%。

1 2024-12-07 18:26 查看原文

助力大语言模型训练，无压力爬取六百亿网页 | 谢乾坤 | Kingname

ChatGPT一炮而红，让国内很多公司开始做大语言模型。然后他们很快就遇到了第一个问题，训练数据怎么来。有些公司去买数据，有些公司招聘爬虫工程师。但如果现在才开发爬虫，那恐怕已经来不及了。即使爬虫工程师非常厉害，可以破解任意反爬虫机制，可以让爬虫跑满网络带宽，可是要训练出GPT-3这种规模的大语言模型，这个数据并不是一天两天就能爬完的。并且，有很多老网站的数据，早就被删除了，爬虫想爬也爬不到。

1 2024-12-15 08:37 查看原文

一日一技：爬虫如何解析JavaScript Object？ | 谢乾坤 | Kingname

我们在开发爬虫的过程中，经常发现有一些网站，会直接把数据放到HTML中的<script>标签里面。这些数据长得有点像JSON，但又有差异，如下图所示：这种格式，我们叫做JavaScript Object。长得很像Python的字典，又很像是JSON。但是这个格式在Python里面，无论直接当字典解析，还是当JSON解析，都会报错，如下图所示：遇到这种情况，有同学准备使用正则表达

1 2024-11-28 17:09 查看原文

标签: 抓包 | 谢乾坤 | Kingname

1 2024-12-07 08:46 查看原文

一日一技：如何对Python代码进行混淆 | 谢乾坤 | Kingname

目前市面上没有任何方法能够完全避免你的程序被人反编译。即便是3A游戏大作，发布出来没多久也会被人破解。现在只能做到增大反编译的难度，让程序相对无法那么快被破解。我们知道，Python代码默认是公开的。当你要把一个Python项目给别人运行的时候，一般来说别人就能看到你的全部源代码。我们可以使用Cython、Nuitka对代码进行打包，编译成.so文件、.dll文件或者是可执行文件，从而在一定程度

1 2024-10-16 15:16 查看原文

一日一技：Python装饰器的执行顺序 | 谢乾坤 | Kingname

说到Python装饰器的执行顺序，有很多半吊子张口就来：靠近函数名的装饰器先执行，远离函数名的装饰器后执行。这种说法是不准确的。

查看原文

一日一技：在LangChain中使用Azure OpenAI Embedding服务 | 谢乾坤 | Kingname

如果大家深入使用过ChatGPT的API，或者用过听说过AutoGPT，那么可能会知道，它背后所依赖的语言框架LangChain。LangChain能够让大语言模型具有访问互联网的能力，以及与其他各种API互动交互，甚至是执行系统命令的能力。 ChatGPT的prompt支持的Token数量是有限的，但是使用LangChain，能够很容易实现ChatPDF/ChatDoc的效果。即使一段

查看原文

标签: 语音转文字 | 谢乾坤 | Kingname

查看原文

博客寄语：

这个博客已经连续更新超过8年。

实时播报：

详情

使用AWS亚马逊云搭建Gmail转发服务（一） | 谢乾坤 | Kingname

推荐

心灵鸡汤

列表展示