手里有一批百万级别的URL没有收录，想做成sitemap提交一下，跟python大神@赵彦刚同学提了这个需求，在我的“变态”要求之下，这个程序近乎完美，无论你给定多少URL，程序会自动判断，按最多50000条URL成生多个sitemap.x...

1.error: command 'gcc' failed with exit status 1 的解决办法 yum install gcc python-devel 2.error: command 'gcc' failed with e...

python调用Shell脚本，有两种方法：os.system(cmd)或os.popen(cmd),前者返回值是脚本的退出状态码，后者的返回值是脚本执行过程中的输出内容。实际使用时视需求情况而选择。 现假定有一个shell脚本test.s...

首先感谢方法共享平台，哈哈。 先来说说实现思路 1、我从我的数据库中获取了一些文章的title 2、将title用jieba分词进行分词 3、使用一些第三方库计算出词频向量（其中计算方法不明） 4、根据每两篇文档的词频向量计算其余弦相似性，...

搭建或者升级Python环境笔记，吐血记录！ 每次在新的Centos上折腾Python时，在参考之前的两篇文章（见本文结尾文章推荐）之后，总是会遇到这样那样的问题，原来是一些Python所依赖的包没有安装好，导致又得重新make&m...

在centos6.5 中 默认的Python版本是 2.6.6,我在使用Django最新版本的时候，发现出现语法错误！于是决定升级Python；步骤如下 一.安装Python 2.7.10 1.下载 wget http://www.pyth...

CentOS安装python pip的两种方法小记： 第一种：通过yum install安装，先解决yum不能安装python库的问题 yum install epel-release -y #先安装epel源，参考http://shara...

背景: 虚拟机centos下安装python辅助工具 setuptools报错，错误信息大概如下： Traceback (most recent call last): File "setup.py", line 94, in <mo...

Centos6.5 python2.6升级到2.7教程【亲测好用！】 买的阿里云ECS服务器，选的CentOS系统，自带的python版本是2.6.6的，非现在的流行版本2.7，于是想把原来的python2.6升级到python2.7，找到...

前段时间在@方法的博客上看到一个数据接口，貌似是百度商情的关键词数据。 方法博客中用的是ssh，几行代码就搞定了挖词，但是我试了一下，挖出来有一些错乱也有一些重复。于是就用python做了一个版本。拿出来分享一下。 方法的原文：/shell...

手中有一个20W的URL列表的TXT文件，想把这20W的页面的title/description/keywords都提取出来，shell只能单线程，而且通过curl方式采集不稳定；火车头采集器倒是可以多线程，但是处理这种比较大的URL列表，...

今天为了做那个验证百度站长平台抓取诊断工具能否收录二级URL的SEO实验，我批量搞了一批页面，大概有200个左右，然而在源文件里，每个html文件顶部都有一句无用的代码，又不能用正则表达式给批量删除掉，那怎么办呢？原本想用shell看能不能...