Google有个常规任务就是找普通用户做兼职给Google的搜索结果打分，也会有个文档给评分作指导。我在13年读过12年的评分指南文档，并试图翻译（结果放弃）,最后也写了个读后感。 前一段发现Goog...

之前抓一个爬虫代理网站，发现在port上做了点手脚，使用了JS去计算port的方式，比如<script>document.write((2773^seal)+837);</scrip...

整理我用过的最好的十个库 Python是优雅的，使用这些库可以使你的代码更简洁，并保持持久性。欢迎各位补充，并提出意见! Docopt。抛弃optparse和argparse吧，使用docstring...

最近和朋友聊天，我们都感到SEO行业有个很致命的问题，就是没有一个固定的规范和标准。不像python，PHP等程序语言，有个很完善的官方手册，实在不行就直接做个小程序跑下，马上就有准确的答案。而SEO...

python常用库 WEB方面： 网页操作：urllib, urllib2, requests URL操作：urlparse 数据库操作：MySQLdb 处理json：simplejson，json ...

requests是python的一个HTTP客户端库，跟urllib，urllib2类似，那为什么要用requests而不用urllib2呢？官方文档中是这样说明的： python的标准库urllib...

之前在《高性能网站建设指南》中了解过ETag，但一直没有应用。昨晚看到百度站长平台在大力推荐ETag，忽然有一种凌凌漆接到国家任务的感觉。 1. 什么是ETag ETag全称为Entity Tag，中...

1. 本系列前言 一直想写Python与SEO的系列文章，因为随着SEO工作的开展，以及自身Python水平的提高，Python在SEO中的应用越来越多，使用的范畴也越来越广。 本系列暂时计划分为几个...

web抓取 web站点是由HTML语言编写，这意味着每个网页都是结构化文档。有时，我们可利用当前结构获取所需数据并保留数据格式，但通常都不能以合适的结构获取数据（不像csv和json）。 web抓取适...

背景 Scrapy默认是可以保存为csv的，可以用excel打开，使用scrapy crawl spider_name -o data.csv即可。但csv格式有诸多不便，比如中文编码问题，比如说逗号...