关于德州仪器 www.ti.com.cn 的分布式数据抓取与

TiDCS

关于德州仪器 www.ti.com.cn 的分布式数据抓取与自动控制系统 通过Chrome插件控制浏览器进行自动化的操作,允许在多个浏览器上安装Chrome插件作为客户端统一接入后端程序,实现分布式与集群效果

使用效果演示

1.首次安装与插件自动登录演示.mov

2.插件上线与自动获取产品基本信息.mov

3.有库存产品自动抢购.mov

项目组成

. ├── backend ├── chromeExt ├── docs └── frontend backend/ 后端代码(Python,Flask,SocketIo) chromeExt/ Chrome浏览器插件代码(Javascript,ChromeExtensionApi) docs/ 部署与业务分析的相关文档 frontend/ 管理后台的前端代码(Webpack,Vue) backend 环境安装: pip install -r env.txt 数据库脚本: ./backend/db.sql 启动脚本: ./backend/run.sh 启动命令: bash run.sh [start, stop] 项目结构:

. ├── __init__.py ├── config.py # 配置文件 ├── consts.py # 全局变量 ├── core.py # 核心交互代码 ├── db.sql # 数据库脚本 ├── env.txt # 虚拟环境配置文件 ├── http_apis # 管理后台相关API ├── logs # 日志 ├── main.py # 程序入口 ├── models # 数据模型 ├── run.sh # 启动脚本 ├── test.py # 开发时的临时功能测试脚本 └── utils # 工具函数 chromeExt 项目代码: chromeExt/tidcs-ext 已打包程序: chromeExt/tidcs-ext.crx 打包密钥: chromeExt/tidcs-ext.pem 插件安装教程: docs/chrome.adm安装使用教程.png 项目结构:

tidcs-ext ├── auto-login.js # 自动登录注入的JS代码 ├── background.html # 插件后台页面 ├── background.js # 插件后台代码 ├── libs # 依赖包 └── manifest.json # 配置文件

版权声明:

1、该文章(资料)来源于互联网公开信息,我方只是对该内容做点评,所分享的下载地址为原作者公开地址。
2、网站不提供资料下载,如需下载请到原作者页面进行下载。