python中下载文件常用的几个模块有urllib，urllib2，requests，方法也很简单，代码如下： # Python 2 code import urllib import urllib2 import requests url...

经常遇到这样的情况： 系统自带的 Python 是 2.6，自己需要 Python 2.7 中的某些特性； 系统自带的 Python 是 2.x，自己需要 Python 3.x； 此时需要在系统中安装多个 Python，但又不能影响系统自带...

今天在用Python跑一个数据时，需要遍历一个日期范围，于是在网上找到如下可用的代码，记录一下。 方法1： import datetime def main():     begin = dateti...

PS：你知道weibo问答的力量有多么的强大了吧？？？ == @西瓜大丸子汤 总结我用过的网页正文抽取工具： decruft http://t.cn/S7bVEC python-readabilityhttp://t.cn/zYeoZ8b ...

1、正文抽取地址 https://github.com/buriy/python-readability 【安装】 pip install readability-lxml 【测试】 python -m readability.readab...

有时候我们在做站的时候希望能够找出同行的网站做为参考，或者找出同行做得好的网站，也就是竞争对手的网站。 如果只是简单的人工百度，也能够查找出来一些，但是我们又如何能够确定，哪个网站做得好，哪个网站做得差呢？ 我是这样子操作的: 比如我想做一...

Python进行URL解码 import urllib rawurl=xxx url=urllib.unquote(rawurl) 所用模块：urllib 所用函数：urllib.unquote() 案例 import urllib raw...

手里有一批百万级别的URL没有收录，想做成sitemap提交一下，跟python大神@赵彦刚同学提了这个需求，在我的“变态”要求之下，这个程序近乎完美，无论你给定多少URL，程序会自动判断，按最多50000条URL成生多个sitemap.x...

python调用Shell脚本，有两种方法：os.system(cmd)或os.popen(cmd),前者返回值是脚本的退出状态码，后者的返回值是脚本执行过程中的输出内容。实际使用时视需求情况而选择。 现假定有一个shell脚本test.s...

整理我用过的最好的十个库 Python是优雅的，使用这些库可以使你的代码更简洁，并保持持久性。欢迎各位补充，并提出意见! Docopt。抛弃optparse和argparse吧，使用docstrings来构建优雅的，可读性强的，并且复杂（如...

1. 本系列前言 一直想写Python与SEO的系列文章，因为随着SEO工作的开展，以及自身Python水平的提高，Python在SEO中的应用越来越多，使用的范畴也越来越广。 本系列暂时计划分为几个主题，将在近几周完成： 数据采集 关键词...

1. 前言 前几天在做日志分析系统，需要处理几十G的文件，我尝试用原来的for line in open(filepath).readlines()处理，但停顿好久也没变化，可见占用不小的内存。在网上搜索了下，找到了两种方法来读取大文件。 ...

搭建或者升级Python环境笔记，吐血记录！ 每次在新的Centos上折腾Python时，在参考之前的两篇文章（见本文结尾文章推荐）之后，总是会遇到这样那样的问题，原来是一些Python所依赖的包没有安装好，导致又得重新make&m...

在centos6.5 中 默认的Python版本是 2.6.6,我在使用Django最新版本的时候，发现出现语法错误！于是决定升级Python；步骤如下 一.安装Python 2.7.10 1.下载 wget http://www.pyth...

CentOS安装python pip的两种方法小记： 第一种：通过yum install安装，先解决yum不能安装python库的问题 yum install epel-release -y #先安装epel源，参考http://shara...

背景: 虚拟机centos下安装python辅助工具 setuptools报错，错误信息大概如下： Traceback (most recent call last): File "setup.py", line 94, in <mo...

Centos6.5 python2.6升级到2.7教程【亲测好用！】 买的阿里云ECS服务器，选的CentOS系统，自带的python版本是2.6.6的，非现在的流行版本2.7，于是想把原来的python2.6升级到python2.7，找到...

手中有一个20W的URL列表的TXT文件，想把这20W的页面的title/description/keywords都提取出来，shell只能单线程，而且通过curl方式采集不稳定；火车头采集器倒是可以多线程，但是处理这种比较大的URL列表，...

Beautiful Soup是一个Python的一个库，主要为一些短周期项目比如屏幕抓取而设计。有三个特性使得它非常强大： 1.Beautiful Soup提供了一些简单的方法和Python术语，用于检索和修改语法树：一个用于解析文档并提取...

cygwin下用Python比较两个文本的相似性，使用到了结巴分词以及余弦定理。 关于cygwin的安装以及python的安装，暂且不提，大家可以去看另一篇/shell/shell-extract-404-pages.html 关于结巴分词...