转眼间，Excel催化剂推出已经两周年，在此之际，献上数据时代最刚需的网页采集功能，无需苦苦寻觅各种工具，借助Excel催化剂过往数据处理、清洗功能，加上此轮的网页采集功能，一点不输于市面上的各种收费性的工具所能达到的效果。一贯地个人完全免费，欢迎参与转发活动获取使用权。
主流网页采集工具概述可能许多网友们不知道，笔者走向Excel的开发的领域，也是从网抓开始，从一开始的使用VBA简单写几行代码，获取到自己所需的内容，到学习使用了几款网页采集现成工具，到现在终于自己可以出一款亲手打造的最贴心的Excel插件功能。
在笔者接触过的工具中，有免费的Excel(PowerBI)的PowerQuery和Hack，和收费的火车采集器，火车浏览器，八爪鱼采集器，码栈，后羿采集器等。之前在公司的环境下，也购买过部分产品的付费功能体验过。
实在话，这些产品做出来，也能有不错的使用体验，特别是付费后全功能解锁后。当然若非企业的行为，单单个人为了一点点日常的便利性操作的小范围的采集工作，而购买一款上述的采集工具，的确有些不划算。
下图为八爪鱼的收费，按订阅式收费，不买断。年2000+才能真正用到较完整功能。
下图是火车浏览器的价格，算是买断版的，不过后续亦有服务费的概念。
不再举例，一句话总结，网页爬虫的领域，的确是众多企业里的刚需，市场上的产品也多数是收费性质，免费的功能被限制得较为厉害。
同时收费性功能，可能很大部分是指向自动化操作和偏重型的数据直接导入数据库或直接发布到网站这类采集与发布一条龙的功能。
对于数据分析工作者来说，最要紧的将数据采集到本地作分析，或一般性用户对企业内业务系统或第3方数据平台数据采集整合等功能，不见得非常贴合。
敢于打破信息不对称，接受横向测评的Excel催化剂网页内容采集功能对网页采集方面的功能有兴趣的朋友们，可以结合上述提及的主流的采集工具，对其有一定的认识后，再回来看Excel催化剂的功能，有对比更有说服力。
能够将网页采集功能做到极致化，并且完全无任何功能限制，免费开放的，只Excel催化剂一家。最要紧的是，人人都可使用的低门槛保证。
五大网页采集功能全覆盖，远胜主流网页采集工具的单一性功能。 一、模拟浏览器访问方式采集，满足任何挑剔的反爬虫策略网站需求在笔者开发过程中，已经陆续给大家演示过几大公认最难爬取平台的数据采集，如淘宝搜索页面采集，公众号后台数据采集等。
这些互联网数据大户，也是众多价值数据的来源地，对爬虫的爬取操作防范也是最为严苛的，各种异步加载技术，javaScript响应跳转及需登录访问等措施，在模拟浏览器方式来访问，都可逐一攻破，因模拟浏览器访问，已经十分接近人工打开网页的操作，没有人敢给人工访问轻易设防，增加访问难道，降低用户体验度的。
好几大主流采集工具，亦是顺势而为，采用此种方式来采集数据，但此种方式，采集效率不高是它的一大瓶颈，测试时感觉良好，但真正采集过程中，速度慢，不稳定是一大痛点。
二、使用Http直接提交方式采集，满足一般性网页采集的需求任何事务总是两面性，前面提及的各大工具的傻瓜式操作低门槛的代价是应用面的不广，就如同样一台相机，傻瓜相机拍照肯定比单反相机简单太多，但深入使用时，单反式的手动调节就显得非常必要。
在网页采集方面亦是如此，高级点的用户，可以自行抓包获取实际数据网址并批量构造类似网址进行访问。一次性直达目标，减少干扰。
Http的提交方式，是最为直接，最为快速的网页采集手段，但对用户要求也会有所提升。高级用户更为喜爱。同样地，局限性在于网站主的各种防范和封锁，能够有机会用到时最好，效率最高。
对标主流的采集工具，只剩下火车采集器和火车浏览器可满足，当然免费的PowerQuery和Hack也可以，不过门槛偏高，特别是要考虑到登录状态下的采集。
Excel催化剂在支持Http的方式访问，提供了极其丰富的功能辅助，不止于在提交网址访问的那一刻的提交信息的灵活配置，更有网址数据的批量生成，采集内容后的数据清洗如文本处理提取或删除指定内容，二次再提取（非常人性化地提取内容的同时，可将采集网页全或部分内容做保存，使用自定义函数的方式再提取）