cygwin下用Python比较两个文本的相似性,使用到了结巴分词以及余弦定理。 关于cygwin的安装以及python的安装,暂且不提,大家可以去看另一篇http://seofangfa.com/s...
cygwin下用Python+jieba给文本分词并提取高频词
今晚小折腾了一下在cygwin下用Python和jieba分词(结巴分词)组件给文本分词并提取高频词,过程记录如下: 目的 分析某行业中,用户最关心的一些需求,再根据这一需求去调整站内TDK,以及一些...
CentOS6.5中使用sendmail发送crontab运行报告
在服务器上安装了一个CentOS6.5(CentOS6.5下载地址),准备用crontab跑点定时任务,像批量查竞争对手SEO数据、批量查收录、批量向百度实时推送URL等。在安装完CentOS6.5后...
centos安装sendmail服务及设置【亲测好用!】
sendmail是Linux下优秀的邮件系统。今天某个网站需要有发邮件的需求,而服务器安装时没有安装这个,那就开始吧。 1、安装 #yum in...
【亲测好用!】shell批量采集百度下拉框关键词
一直想写一篇用shell采集百度下拉框关键词的教程,个人感觉用shell来采集的话速度和效率都会更高一点。因为前面写过一篇用火车头采集百度下拉框关键词的教程,操作步骤稍微多了些,很多朋友看完了仍然不知...
shell使用技巧:快速去除字符串中的空格
在整理词库的过程中遇到 一个问题,有些其实是同一个关键词之关有空格的话,无法正常被去重,那么有没有办法能快快速去除这些字符中间的空格呢?经过百度一番,找到一个解决办法,记录一下。 效果如下图所示,图上...
用shell找出网站的空页面和404错误页面
很早之前记的一个笔记了,之前只是记录了两句代码,放出来的话也是一个低质量的页面,于是设置为了仅自己可见,今晚抽空补充一下。 记得当的情景应该是提交sitemap时百度老提示有错误的URL,导致site...
shell批量查询IP地址归属地
最近在搞代理IP(见上一篇“shell小技巧:用curl批量验证代理IP是否可用”)的时候遇到一个小问题,我需要知道收集到的几百个可用的代理IP地址归属地是哪儿的,然后根据我的需求选择该用哪个IP地址...
shell神器curl用法笔记
curl可以模仿浏览器,可以当下载器,当你只是在处理一些shell工作时、测试,要图形界面干嘛?或者,要一个下载器干嘛。 基本用法(配合sed/awk/grep) $curl http: //bpsk...
shell快速批量获取百度商情关键词【带指数】
------------2015年3月31日补充开始--------------- 看到下面有朋友留言说用不了,我就纳闷了,怎么就用不了?每次有人说用不了,我都会测试一下,结果明明是可用的。于是我把代...

