手中有一个20W的URL列表的TXT文件，想把这20W的页面的title/description/keywords都提取出来，shell只能单线程，而且通过curl方式采集不稳定；火车头采集器倒是可以...

今天为了做那个验证百度站长平台抓取诊断工具能否收录二级URL的SEO实验，我批量搞了一批页面，大概有200个左右，然而在源文件里，每个html文件顶部都有一句无用的代码，又不能用正则表达式给批量删除掉...