一直想写一篇用shell采集百度下拉框关键词的教程,个人感觉用shell来采集的话速度和效率都会更高一点。因为前面写过一篇用火车头采集百度下拉框关键词的教程,操作步骤稍微多了些,很多朋友看完了仍然不知...
shell使用技巧:快速去除字符串中的空格
在整理词库的过程中遇到 一个问题,有些其实是同一个关键词之关有空格的话,无法正常被去重,那么有没有办法能快快速去除这些字符中间的空格呢?经过百度一番,找到一个解决办法,记录一下。 效果如下图所示,图上...
用shell找出网站的空页面和404错误页面
很早之前记的一个笔记了,之前只是记录了两句代码,放出来的话也是一个低质量的页面,于是设置为了仅自己可见,今晚抽空补充一下。 记得当的情景应该是提交sitemap时百度老提示有错误的URL,导致site...
shell批量查询IP地址归属地
最近在搞代理IP(见上一篇“shell小技巧:用curl批量验证代理IP是否可用”)的时候遇到一个小问题,我需要知道收集到的几百个可用的代理IP地址归属地是哪儿的,然后根据我的需求选择该用哪个IP地址...
shell神器curl用法笔记
curl可以模仿浏览器,可以当下载器,当你只是在处理一些shell工作时、测试,要图形界面干嘛?或者,要一个下载器干嘛。 基本用法(配合sed/awk/grep) $curl http: //bpsk...
shell快速批量获取百度商情关键词【带指数】
------------2015年3月31日补充开始--------------- 看到下面有朋友留言说用不了,我就纳闷了,怎么就用不了?每次有人说用不了,我都会测试一下,结果明明是可用的。于是我把代...
shell实现字符串反转
需求 在做关键词清洗过程中,需要将一类不符合某个字结尾的词过滤出来,思路是把这一批词按最后一个字排序,于是想到了先把这些词反转一下,如把12345转为54321,好像以前在夜息的文章里看过用shell...
shell小技巧:用curl批量验证代理IP是否可用
我们做SEO的有时候有一些奇怪的需求,比如批量查2000个词的排名什么的,如果同一个IP查的话,百度很容易屏蔽我们,这时候我们就需要一些代理IP来配合我们工作,那我们如何搞到一些可用的代理IP呢? 思...
shell批量采集爱站关键词库
shell批量采集爱站关键词库,心血来潮写着玩的,还不完善,先放出来,后期慢慢更新,功能虽然简单,同类工具也很多现成的,但毕竟是自己写出来的工具,感觉还是很不一样滴! for i in $(seq 1...
shell压缩解压命令:gzip、zip、tar
shell 压缩 gzip 和 gunzip 压缩: gzip filename 文件即会被压缩,并被保存为 filename.gz 解压缩: gunzip filename....

