爬虫工程师 月薪45K的Python爬虫工程师告诉你爬虫应该怎么学,太详细了!

毕竟大数据行业在国内兴起也就这几年,而爬虫工程师也由此从幕后走向台前,不清楚整个大行业的话,其实只能看到很片面的价值。

回忆这几年带团队的过程,还有团队的发展,有些同学片面低估爬虫工程师的价值,也有些同学盲目高看自已。这篇文章就说说我的想法,希望能让大家更了解这一行的一些工作,希望对大家是有所帮助的。

关于爬虫的话,面试的问题其实都差不多。我罗列一下:

自我介绍。我发现厉害的面试官一般都不会要你做自我介绍,而要你自我介绍的其实只是需要几分钟看看你的简历。至于面试官厉不厉害,其实看他问问题的角度就能看出来了。

项目中遇到最难的地方?是怎么解决的?

详细问你某个项目的过程。因此你需要很了解你自己做的项目。我被问到最多的是关于淘宝UA值的计算过程,似乎大家都对淘宝很感兴趣。

HTTP的三次握手和四次挥手。这个是个高频,我被问了好几次。

进程、线程和协程。

如何设计一个爬虫。

常见的反爬机制有哪些,每种机制的应对方案。这个也是个高频。

如何提高小组的代码质量?我答的是peer review。

常见的去重策略和存储方案。

用过哪些爬虫框架。

基本就这些,可以看到,我很少会被问到只和Python相关的问题(只有一次,问了list和tuple的区别)。但是去研究下Python,总没什么坏处。另外一些可能的加分项:

技术博客,github

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zwfxzx.html