快过年了，准备买些年货，于是频繁刷购物网站对比价格，搞得还是挺头大的。我想能不能做个应用抓取实时价格并在低于预期价格后进行提醒，于是就有了本篇文章。本文主要分享怎么将本地项目打包成镜像并推送到dockerhub上
最初用的是node+cheerio，请求商品页面通过选择器解析商品名称和价格。但是多次调试后页面会在页面内重定向，这样就抓取不到了，应该是触发了jd的反爬虫机制。在换了几种方式无果后将眼光投向了github，最终fork了一份由python实现的方案进行改善。
效果前端：Boostrap+Jquery
后端：Python+Flask
爬虫：requests+beautifulsoup4+PyExecJS
代理池：https://github.com/0xHJK/Proxies 简易实现
fork后新增自定义商品字段，增加钉钉通知，增加docker启动。 注意需要调用nodejs来获取token，所以不仅需要python，还需要node环境。
因为配置文件需要自己设置，所以新增config文件夹方便文件挂载
# 基于python创建镜像 FROM python:3.7.0 # 设置工作目录 WORKDIR /usr/src/app # 设置pip镜像 RUN pip config set global.index-url RUN pip config set install.trusted-host mirrors.aliyun.com # 把本地文件复制到镜像工作目录下 COPY . . # 安装node环境 RUN wget https://npm.taobao.org/mirrors/node/latest-v12.x/node-v12.16.1-linux-x64.tar.xz && tar -xf node-v12.16.1-linux-x64.tar.xz -C /opt # 设置环境变量 ENV EXECJS_RUNTIME=$PATH:/opt/node-v12.16.1-linux-x64/bin RUN ln -s /opt/node-v12.16.1-linux-x64/bin/node /usr/local/bin/ RUN ln -s /opt/node-v12.16.1-linux-x64/bin/npm /usr/local/bin/ # 打印版本 RUN echo 'node 版本：' && node -v RUN echo 'python 版本：' && python -V # 安装依赖 RUN pip install --no-cache-dir -r requirements.txt # 启动 CMD cd web && python server.py 生成并推送本地镜像到dockerhub生成本地镜像
docker build -t jdspider .
修改本地镜像和dockerhub上一样
docker tag jdspider yimijianfang/jd-spider:0.6
登录dockerhub
docker login
推送
docker push yimijianfang/jd-spider:0.6
不想上传到dockerhub还可以在本地打镜像压缩包
# 打包镜像到本地 docker save -o jdspider.tar jdspider # 解压加载镜像 docker load -i jdspider.tar 使用方法在宿主机上添加配置文件
cd /data/jd-spider/config touch config.cfg # config.cfg [mail] host = smtp.qq.com port = 25 user = xxx@qq.com pass = xxx sender = xxx@qq.com [dingding] webhook = https://oapi.dingtalk.com/robot/send?access_token=xxx [select] option = mail # 启动docker docker run --name jdspider -p 5858:5858 -v /data/jd-spider/config:/usr/src/app/web/config -d yimijianfang/jd-spider:0.6打开:5858查看效果，另外如果使用邮箱需要申请开放25端口
github地址：https://github.com/yimijianfang/mall-monitor 其他项目，欢迎starvue滑块验证组件 https://github.com/yimijianfang/vue-drag-verify
jquery音乐播放插件 https://github.com/yimijianfang/music
vue组件props自动生成器 https://github.com/yimijianfang/auto-props