拿好这段代码，愿你求职路上不再迷茫

546841

　解答思路

　　我一直提倡的是 学以致用，知行合一，所以当我们学*和储备技能的时候应该要和市场相结合，准确的说应该是人才市场。

　　要了解人才市场有个非常简单的方法——招聘网站。我们上招聘网站搜一搜，看看企业在招聘的时候都有哪些技能需求就一目了然了。

　　可问题就是数据那么多，如果只抽取部分做参考不够准确，一个个去看又效率太低。

　　我觉得身为开发人员最大的优势就是 可以用代码等技术手段定制所需的工具。所以我们只需要写一段爬虫代码，把招聘网站上的数据“同步”到数据库，然后进行统计分析，就可以进行有的放矢地学*了。先看一下统计分析结果：

[img]本站全面禁止外链，如有需求联系0516-88922020！[/img]

　　动手实践

　　以个人比较喜欢的某招聘网站为例。

　　网页分析

　　搜索“前端”,人往高处看齐，我们添加一个过滤条件“25k-50k”，看看市场对高级前端的要求。同时按下F12打开调试，发现这里发送了ajax请求（凡事有利有弊，前后端分离虽然开发效率提高了，但同时也为爬虫程序降低了难度）。

　　补充一下：一般分两种情况：json数据和html页面，本文两种情况皆有涉及。

[img]本站全面禁止外链，如有需求联系0516-88922020！[/img]

　　通过列表我们只能知道公司和职位，点击链接跳转到详情页看到我们想要的信息：岗位职责和要求。

[img]本站全面禁止外链，如有需求联系0516-88922020！[/img]

　　这里没有看到ajax请求，应该是后端利用模板直接生成的静态页面，所以需要解析html，会略微麻烦一些。

　　编写代码

　　整个编码的思路变得很清晰了：

　　1.分页查询职位列表

　　用request模块发送get请求，获取json数据，然后按照id查询html。

　　2.按职位查询详情并入库

　　用jsdom模块对获取的html进行dom解析，这个模块很容易上手，可用jquery语法。

　　将解析的数据过滤，保留岗位职责和要求信息，利用mongoose保存至数据库。

　　3.从数据库中查询结果

　　查询统计各技能占比。结果如开头截图所示。

　　觉得文章有用的，关注一下微信公众号：zhiheguoqiang