方法1： for file in  `ls`; do mv $file $file.txt; done 方法2： find . -type f |xargs -i mv {} {}.txt 还有一些试验不成功的，先记录在此。 1....

如果要格式化报文或从一个大的文本文件中抽取数据包，那么awk可以完成这些任务。 为了获取所需信息，文本必须格式化，也就是说要使用域分隔符来划分抽取域，分隔符可以使任意字符。 awk语言的最基本功能是在文件或字符串中基于指定规格浏览和抽取信息...

用shell快速生成xml格式的sitemap地图文件，中小型网站适用。在本次案例中，生成12053条URL的sitemap文件，仅用时4.3秒！shell代码如下： cat sitemap.txt|awk 'BEGIN{print "&l...

随着SEO行业经验的增长，越来越觉得这是一门类似太极拳的功夫：易学难精。因为其中涉及到很多技术相关的细节，如果你不了解这些细节，虽然也能做好一些工作，可是始终有它的局限性，可能很多时候你得求着技术来配合你做一些改动什么的，比较郁闷。所以一直...

案例：采集了一批文章，已经在本地生成好了html文件，现在需要把提取这批文章上线后的完整URL及title部分，用来做一个sitemap方便我提交给百度。 比如/seo-test/seo-test2-baidu-crawltools-imp...

今天为了做那个验证百度站长平台抓取诊断工具能否收录二级URL的SEO实验，我批量搞了一批页面，大概有200个左右，然而在源文件里，每个html文件顶部都有一句无用的代码，又不能用正则表达式给批量删除掉，那怎么办呢？原本想用shell看能不能...

我们在做SEO的时候免不了要进行一些分析竞争对手网站的工作，通常做法是搜索一些核心关键词，通过这些核心关键词来判断哪些网站具体有很强的竞争力，以及跟他相比，我们网站的优势和劣势在哪。 这是一个不错的思路，现在的问题是人工去挖掘的话，一方面效...

做SEO主要需要的两方面能力，我总结为两点，也即研发体系的基本分工：产品、技术。产品方向，要求SEO思路清晰，会看数据会写方案，擅于沟通从而推动项目；技术方向，要求SEO会收集数据懂技术实现等，使产品想法可以真正落实。我相对略偏技术方面一些...

刚刚宝狼在SEO朋友群里谈到了最近面试SEO时的一些事，然后群里都讨论起来在招聘SEO时的那些事儿了，我觉得蛮有意思的，特别的夜息写的一个“谈谈面试SEO岗位”的文章非常经典，就转过来收藏一下。     --------...

占个坑，有空继续写 一.前言 本文比较适用与中大型网站的SEO人员，小网站也可以参考，先说明两点 本文是写给有一定实战经验的SEO看的，如果扫了两眼就说完全看不懂，那不是我的问题。 这个方法经过了大量的研究和实践，证明是一套一直会有效果的S...

其实已经积攒了不少心得，之前都没记下来。现在打算慢慢更新 获取每个IP访问量,并且排序 老的做法 cat log | awk ‘{print $1}’ | sort | uniq -c | sort -k1r 高效率的做法 cat log ...

距离上一篇SEO的数据分析已经过了好久了，最近觉得应该写一些实际点的内容看看SEO到底怎么做。 先明确一些基本点，一个网页被收录与否，有两个因素 是否被爬虫爬过 页面质量是否过关 上一篇文章已经提过了收录率这么一个指标，很多网站都懒得去做这...

采集数据其实大学有教，不过可能是研究生的课程，并且可能也不能算一门课，只是一项技术。 采集数据需要哪些技术 http通信原理 html/css/js 各种编码 一门语言 敏(YIN)捷(DANG)的思维 数据采集工具 很多人都会问我，”请问...

其实已经积攒了不少心得，之前都没记下来。现在打算慢慢更新 获取每个IP访问量,并且排序 老的做法 cat log | awk ‘{print $1}’ | sort | uniq -c | sort -k1r 高效率的做法 cat log ...