易顺网

当前位置:首页 > 八爪鱼相关 / 正文
后台-系统设置-扩展变量-手机广告位-内容页头部广告位
作者:admin

如何将200万个url网址放入八爪鱼-网址压缩

admin 11个月前(2018-04-16) 八爪鱼相关

前言:
当要穷举或者盲扫时,有大量的url网址,可八爪鱼采集器里面只能放2万左右的url列表,怎么办?
难道分拆100个规则,那不累成狗吗?


等等,url不也是超链接吗?
如果我在本地1.html里面放入第1-100个url,本地2.html里面放入第101-200个url,本地3.html里面放入第201-300个……

那么我本地2万个.html就放了200万个url,然后用八爪鱼打开本地的那2万个url,不就也成功打开了那200万url。
于是,就做了一个批量生成本地.html的工具,将url进行“压缩”。

下面看看工具介绍吧:

网址url压缩工具,突破八爪鱼循环url列表2万个限制。

本工具能将txt文本里面的200万url网址,以2万个html存放在本地,每个html里面含有100个url超链接。

当然一个html存放多少个url超链接是可以设置的,关键是看你的网址长度,单个html文件太大,浏览器打开也卡啊。

建议设置个数在100-500之间,不要超过1000。

对于txt文本建议存放1000万以内个url网址,一亿个就别费劲了,软件会崩溃的,手下留情啊。

使用说明:

先将你的url列表放入txt中,接着新建一个文件夹,然后把工具.exe和url列表.txt放入新建文件夹,

就可以打开.exe,选择.txt文件,生成的.html就会在该文件夹中。

记住,一定要把url列表.txt和工具.exe放入文件夹中。

千万不要放在桌面上,不然一桌面都是.html,这酸爽!


url2html.gif


细心的人会发现,怎么.html显示的是两条url,一个带A标签,一个没有带A标签。

其实当初做这个工具,还想到可以做其他用途,用来提取数据。

但是只带A标签,默认创建会点击超链接,就不是直接循环提取数据了,

当然可以手动修改,但像我这种懒人,懒得动了,直接创建循环提取不更好?

另外这是本地采集,你如果要用八爪鱼云采集,是需要你把本地.html上传到网站空间,

没有网站空间建议去申请一个七牛存储,但是要实名认证,介意的话,就别去弄了。


我网盘的资料都设置了解压密码:www.e123456.com,防止网盘的资料被和谐。

大小:1M | 来源: | 提取码:d93r
已经过安全软件检测无毒,请您放心下载。

标 签

试试用"←"或"→"方向键快速翻页把 (^o^)/

后台-系统设置-扩展变量-手机广告位-内容页头部广告位
搜索
热门图片
最近更新

Powered By 易顺网  赣ICP备16001451号