今天遇到一个小需求，有两个文档，city.txt和near_city.txt，文件内容如下： 现在需要将near_city.txt中的所有城市名转为city.txt里相应的城市名的数字代号，其实城市也不多，500多个，复制替换1000多次就...

shell下的split命令主要用于分割一些大文件用的，比如经常要用到将一个几十万行的TXT分割为多少行一个的文件，非常有用，唯一坑爹的是，切割后的文件不能自动添加扩展名和按规律命名，刚找到一个还算不错的示例，算是解决了分割后命名无规律的问...

函数： 如果你写过比较复杂的脚本，就会发现可能在几个地方使用了相同的代码，这时如果用上函数，会方便很多。函数的大致样子如下： functionname() { # inside the body $1 is the first argume...

shell批量、多层挖掘百度相关搜索关键词 用法： 将下面的源代码整个复制，另存为xg.sh，在cygwin里运行time bash -x xg.sh。 注意 xiangguan.sh，kws.txt在同一个文件夹里。kws.txt是母词表...

【亲测好用！】shell脚本随机生成0～20的随机数 第一种方法：   # /bin/bash #生成0到20的随机数 #time:2011-10-13 #Author:panda sum=`expr $RANDOM % 21`;...

一、获取用户输入 1、基本读取read命令接收标准输入的输入，或其它文件描述符的输入。得到输入后，read命令将数据输入放入一个标准变量中。 [root@rac2 ~]# cat t8.sh  #!/bin/bash #testi...

刚才@行书QQ上问我有没有可以批量提取百度前76页搜索结果URL的shell或者python，刚好之前有写过这样一个shell小脚本，现分享出来。 看完下面的代码，你可能会说，这不是跟刚才那篇《网站竞争对手分析教程(1)：用shell快速挖...

在linux中怎样用命令完全拷贝一个目录下的所有文件（包括隐藏文件以及文件夹）到另外一个目录下，并且使得被复制的所有文件的属性等完全保持不变？ 注意，连原来的文件夹中所有的文件的属性、链接等都不能更改。也就是说，要建立原来文件夹的一份一模一...

今天来给大家出一个在win7系统Cygwin安装教程及常用工具安装使用教程，cygwin安装教程其实在网上已经有很多的，只不过大多都是图文形式的，很多朋友看过之后表示看不懂，所以我专门录制了一个Cygwin本地安装教程，希望能更快地帮助新手...

在服务器上安装了一个CentOS6.5（CentOS6.5下载地址），准备用crontab跑点定时任务，像批量查竞争对手SEO数据、批量查收录、批量向百度实时推送URL等。在安装完CentOS6.5后，发现sendmail已经是默认可用的，...

一直想写一篇用shell采集百度下拉框关键词的教程，个人感觉用shell来采集的话速度和效率都会更高一点。因为前面写过一篇用火车头采集百度下拉框关键词的教程，操作步骤稍微多了些，很多朋友看完了仍然不知道怎么做，然后QQ问我，教程都写得很清楚...

在整理词库的过程中遇到 一个问题，有些其实是同一个关键词之关有空格的话，无法正常被去重，那么有没有办法能快快速去除这些字符中间的空格呢？经过百度一番，找到一个解决办法，记录一下。 效果如下图所示，图上半部分是示例文本，下半部分就是用shel...

很早之前记的一个笔记了，之前只是记录了两句代码，放出来的话也是一个低质量的页面，于是设置为了仅自己可见，今晚抽空补充一下。 记得当的情景应该是提交sitemap时百度老提示有错误的URL，导致sitemap不能正常被抓取，于是在想办法解决这...

最近在搞代理IP（见上一篇“shell小技巧：用curl批量验证代理IP是否可用”）的时候遇到一个小问题，我需要知道收集到的几百个可用的代理IP地址归属地是哪儿的，然后根据我的需求选择该用哪个IP地址。比较的笨的办法是，把IP地址扔到百度里...

curl可以模仿浏览器，可以当下载器，当你只是在处理一些shell工作时、测试，要图形界面干嘛？或者，要一个下载器干嘛。 基本用法（配合sed/awk/grep） $curl http: //bpsky.net 下载保存 $curl htt...

------------2015年3月31日补充开始--------------- 看到下面有朋友留言说用不了，我就纳闷了，怎么就用不了？每次有人说用不了，我都会测试一下，结果明明是可用的。于是我把代码打包成了一个sh脚本文件shangqi...

需求 在做关键词清洗过程中，需要将一类不符合某个字结尾的词过滤出来，思路是把这一批词按最后一个字排序，于是想到了先把这些词反转一下，如把12345转为54321，好像以前在夜息的文章里看过用shell可以实现，就百度了一下，找到几个可行的解...

我们做SEO的有时候有一些奇怪的需求，比如批量查2000个词的排名什么的，如果同一个IP查的话，百度很容易屏蔽我们，这时候我们就需要一些代理IP来配合我们工作，那我们如何搞到一些可用的代理IP呢？ 思路 1、用proxyfire（没听说过的...

shell批量采集爱站关键词库，心血来潮写着玩的，还不完善，先放出来，后期慢慢更新，功能虽然简单，同类工具也很多现成的，但毕竟是自己写出来的工具，感觉还是很不一样滴！ for i in $(seq 1 50);do curl -s http...

shell  压缩 gzip 和 gunzip 压缩: gzip  filename 文件即会被压缩，并被保存为 filename.gz 解压缩: gunzip filename.gz filename.gz 会被删除，...