从使用的数据类型，以及相关的机器学习技术的观点来看，互联网搜索经历了三代的发展历程。 第一代技术，将互联网网页看作文本，主要采用传统信息检索的方法。 第二代技术，利用互联网的超文本结构，有效地计算网页的相关度与重要度，代表的算法有 Page...

搜索引擎的索引 1.单词——文档矩阵 单词-文档矩阵是表达两者之间所具有的一种包含关系的概念模型，图3-1展示了其含义。图3-1的每列代表一个文档，每行代表一个单词，打对勾的位置代表包含关系。 图3-1 单词-文档矩阵 从纵向即文档这个维度...

1. 检索模型概述 搜索结果排序时搜索引擎最核心的部分，很大程度度上决定了搜索引擎的质量好坏及用户满意度。实际搜索结果排序的因子有很多，但最主要的两个因素是用户查询和网页内容的相关度，以及网页链接情况。这里我们主要总结网页内容和用户查询相关...

【干货！】2016年厦门MADcon搜索分享大会PPT集合大放送！首先给大家分享的是百度站站平台演讲嘉宾的PPT，其他嘉宾的PPT稍后补充，请持续关注本页面！下载地址在文章底部。 1、百度站长平台PPT 百度站长平台PPT内容预览 站长平台...

SEO多年来一直被唱衰，尤以近两三年移动互联网崛起后更是如此。诚然，任何一种流量渠道都有其生命周期，SEO不可能永远是当初的「黄金渠道」。然而，客观上也不应该忽视的是，时至今日，在许多情境下SEO还是可以很容易的做出非常显著的效果。 很多人...

@夜息哥哥喊我在圣诞节更新，我怎敢不从，吓得我赶紧屁颠屁颠的下班回家乖乖码字~~~ 说来也怪，最近关于刷点击相关的话题出现在各种群里，恰巧，我之前用python写过一个点击器的Demo，最后一次花了1-2天测试几个排在第二、三页的词，大部分...

SEO大部分工作都是围绕“关键词、网站内容、链接结构”这3个点展开的，每个点都需要依托数据分析技巧。而关键词作为第一步，其目标是了解用户搜索需求及不同用户在不同场景下产生的搜索行为，并对应网站内容，找到目前忽略的搜索流量。对网站内容和链接的...

SEO作为搜索引擎优化，使得很多人认为这一个『优化』工作对初创网站来说并非优先级很高的事项。但往往到了网站成型之后，发现SEO工作已经无处下手。本文就谈谈哪些工作是一个新站点在产品上线之初、甚至上线之前就必须要引起重视。今天我们请到了SEO...

W3C标准定义WEB包含三个层： - 结构层（HTML） - 表现层（CSS） - 行为层（Javascript） 提倡“结构、表现、行为，三者分离，互不干涉”的WEB页面。 他们各代表这什么？ - 内容：让访问者浏览的信息 - 结构：使内...

编者按：SEO诊断师活动结束后，和评委ZERO闲聊，说到很多SEO人员都转行了（ZERO的原话是“绝望转行”），里面除了大环境的变化外，还有一些是工作思路和工作方法的原因。同时ZERO也感觉现在想在网上找一份“靠谱儿”的SEO诊断书实在太难...

之前抓一个爬虫代理网站，发现在port上做了点手脚，使用了JS去计算port的方式，比如<script>document.write((2773^seal)+837);</script>。就这样一个改动搞得我费劲心思...

用了几天时间重做了数据监控系统的核心部分。 https://github.com/a631381602/ceshi https://github.com/a631381602/ceshi_include 更改点： 1、全部采用Scrapy作...

整理我用过的最好的十个库 Python是优雅的，使用这些库可以使你的代码更简洁，并保持持久性。欢迎各位补充，并提出意见! Docopt。抛弃optparse和argparse吧，使用docstrings来构建优雅的，可读性强的，并且复杂（如...

python常用库 WEB方面： 网页操作：urllib, urllib2, requests URL操作：urlparse 数据库操作：MySQLdb 处理json：simplejson，json 字体判断：chardet 网页解析: B...

最近和朋友聊天，我们都感到SEO行业有个很致命的问题，就是没有一个固定的规范和标准。不像python，PHP等程序语言，有个很完善的官方手册，实在不行就直接做个小程序跑下，马上就有准确的答案。而SEO，毛标准都没有，所以就经常出现这样的情况...

requests是python的一个HTTP客户端库，跟urllib，urllib2类似，那为什么要用requests而不用urllib2呢？官方文档中是这样说明的： python的标准库urllib2提供了大部分需要的HTTP功能，但是A...

之前在《高性能网站建设指南》中了解过ETag，但一直没有应用。昨晚看到百度站长平台在大力推荐ETag，忽然有一种凌凌漆接到国家任务的感觉。 1. 什么是ETag ETag全称为Entity Tag，中文名为实体标签，是Web服务器和浏览器用...

1. 本系列前言 一直想写Python与SEO的系列文章，因为随着SEO工作的开展，以及自身Python水平的提高，Python在SEO中的应用越来越多，使用的范畴也越来越广。 本系列暂时计划分为几个主题，将在近几周完成： 数据采集 关键词...

web抓取 web站点是由HTML语言编写，这意味着每个网页都是结构化文档。有时，我们可利用当前结构获取所需数据并保留数据格式，但通常都不能以合适的结构获取数据（不像csv和json）。 web抓取适时而出。web抓取可利用计算机程序过滤网...

背景 Scrapy默认是可以保存为csv的，可以用excel打开，使用scrapy crawl spider_name -o data.csv即可。但csv格式有诸多不便，比如中文编码问题，比如说逗号分隔，虽然都能解决，但对一般用户来说还是...