需求 在做关键词清洗过程中，需要将一类不符合某个字结尾的词过滤出来，思路是把这一批词按最后一个字排序，于是想到了先把这些词反转一下，如把12345转为54321，好像以前在夜息的文章里看过用shell可以实现，就百度了一下，找到几个可行的解...

我们做SEO的有时候有一些奇怪的需求，比如批量查2000个词的排名什么的，如果同一个IP查的话，百度很容易屏蔽我们，这时候我们就需要一些代理IP来配合我们工作，那我们如何搞到一些可用的代理IP呢？ 思路 1、用proxyfire（没听说过的...

顾名思义，write-out的作用就是输出点什么。curl的-w参数用于在一次完整且成功的操作后输出指定格式的内容到标准输出。 输出格式由普通字符串和任意数量的变量组成，输出变量需要按照%{variable_name}的格式，如果需要输出%...

shell批量采集爱站关键词库，心血来潮写着玩的，还不完善，先放出来，后期慢慢更新，功能虽然简单，同类工具也很多现成的，但毕竟是自己写出来的工具，感觉还是很不一样滴！ for i in $(seq 1 50);do curl -s http...

shell  压缩 gzip 和 gunzip 压缩: gzip  filename 文件即会被压缩，并被保存为 filename.gz 解压缩: gunzip filename.gz filename.gz 会被删除，...

最近遇到几个shell问题，让以前觉得shell用的不错的我大吃一惊。  比如wc命令可以统计一个文件的行数，如果要知道本目录所有文件的行数和总行数，使用命令： wc -l * 2> /dev/null 如果本目录有子目录，...

方法1： for file in  `ls`; do mv $file $file.txt; done 方法2： find . -type f |xargs -i mv {} {}.txt 还有一些试验不成功的，先记录在此。 1....

用shell快速生成xml格式的sitemap地图文件，中小型网站适用。在本次案例中，生成12053条URL的sitemap文件，仅用时4.3秒！shell代码如下： cat sitemap.txt|awk 'BEGIN{print "&l...

awk正则表达式及内置函数实例详解： 1、模糊匹配： awk '{if($3~/97/) print $0}' data.f：如果第三项中含有”97”则打印该行 awk '{if($4!~/ufcx/) print $0}' data.f：...

案例：采集了一批文章，已经在本地生成好了html文件，现在需要把提取这批文章上线后的完整URL及title部分，用来做一个sitemap方便我提交给百度。 比如/seo-test/seo-test2-baidu-crawltools-imp...

今天为了做那个验证百度站长平台抓取诊断工具能否收录二级URL的SEO实验，我批量搞了一批页面，大概有200个左右，然而在源文件里，每个html文件顶部都有一句无用的代码，又不能用正则表达式给批量删除掉，那怎么办呢？原本想用shell看能不能...

2014年6月21日补充 刚在文章留言里看到有朋友指出，下面提到的这些，只能在windows系统实现，用linux系统的朋友可能没这么复杂了，因为linux直接内置这些命令的，根本不需要这个cygwin软件。我把读者默认地当成是用过cygw...

我们在做SEO的时候免不了要进行一些分析竞争对手网站的工作，通常做法是搜索一些核心关键词，通过这些核心关键词来判断哪些网站具体有很强的竞争力，以及跟他相比，我们网站的优势和劣势在哪。 这是一个不错的思路，现在的问题是人工去挖掘的话，一方面效...

学会用shell分析日志只要一上午！！！  很多地方分享了日志分析的shell脚本，但是基本没说每个命令符的具体含义，学习成本还是很高，在这里总结下，方便大家快速入门。  1、在Windows下的用户要使用shell命令...

其实已经积攒了不少心得，之前都没记下来。现在打算慢慢更新 获取每个IP访问量,并且排序 老的做法 cat log | awk ‘{print $1}’ | sort | uniq -c | sort -k1r 高效率的做法 cat log ...

其实已经积攒了不少心得，之前都没记下来。现在打算慢慢更新 获取每个IP访问量,并且排序 老的做法 cat log | awk ‘{print $1}’ | sort | uniq -c | sort -k1r 高效率的做法 cat log ...

亲自实验过的方法如下： 第一种：comm命令法 命令如下：comm -3 file1 file2 有一个问题就是，如果两个文件排序不一样的话，会出问题 第二种：grep命令法 命令如下：grep -vwf file1 file2 统计fil...