5. Python 开发环境（CSV 模拟 Hive）

面向机器学习 / 深度学习 / 大数据类毕设（如社区团购 AI 推荐、销量预测）：本机仅 Windows，不安装 Linux 虚拟机、不部署 Hadoop+Hive 集群，使用 CSV 文件模拟 Hive 离线数据仓库。

不用搭建 Hadoop+Hive 的核心理由（可写入论文）：

1. 硬件限制：学生笔记本普遍 8G 内存以内，跑 VMware + Hadoop 集群易卡顿、内存溢出；再叠加 Scrapy、Django、深度学习训练极易崩溃，调试效率极低。
2. 开发阶段取舍：Hive 主要用于海量历史订单离线统计，属数据存储辅助。本地用 CSV 即可复刻读取、清洗、统计逻辑，架构不变，仅底层数据源切换。
3. 学习重心匹配：考核重点是 Python 爬虫、Django 前后端、深度学习（LSTM / 协同过滤）、ECharts 可视化；Hadoop 运维、Linux 集群并非核心考察内容。
4. 生产兼容保障：代码保留 pyhive 对接接口，配置开关区分「本地 CSV 模拟」与「线上集群」；改配置即可接真实 Hive，扩展性不受影响。
5. 演示完整性：爬虫数据入 MySQL 后可一键导出 CSV；用 Pandas 完成与 HQL 等价的聚合、清洗、特征提取，答辩演示链路完整。

提示：答辩可强调：本地模拟模式与线上集群模式业务逻辑统一，仅数据源配置不同。

毕设推荐稳定版 Python 3.7.7（Windows 64 位）。请优先走官网直链，无第三方捆绑。

总入口页面：
https://www.python.org/downloads/windows/

Windows 64 位安装包直链（复制到浏览器打开即可下载）：
https://www.python.org/ftp/python/3.7.7/python-3.7.7-amd64.exe

安装关键提醒（对照下图）：打开安装程序后，在第一屏最下方务必勾选 Add python.exe to PATH，否则系统识别不到 python 命令。

安装步骤：

1. 双击 python-3.7.7-amd64.exe。对照上图，勾选 Add python.exe to PATH。
2. 点 Install Now（一键默认），或 Customize installation 安装到 D:\Dev\Python37。
3. 若选 Customize：勾选 pip、tcl/tk、py launcher、for all users（可选）。
4. 装完若出现 Disable path length limit，建议点击，解除 Windows 路径长度限制。
5. 新开 CMD 验证：

python --version
pip --version

应分别显示 Python 3.7.7 与 pip 版本号。

注意：若命令行弹出微软应用商店：说明装的是商店占位符。请卸载商店版，改用上方官网 .exe，并确认勾选了 Add python.exe to PATH。

提示：若电脑是 32 位 Windows，请在总入口页面中下载对应的 32-bit 安装包，不要用 amd64 直链。下载慢可将直链复制到迅雷等下载工具加速。

安装包可在本站顶部导航 开发工具 各模块页的网盘中下载（与项目类型对应）。

在哪里执行：Windows 的 CMD（命令提示符）里执行。也可在 PowerShell、或 PyCharm 底部 Terminal 里执行，效果相同。

怎么打开 CMD：

1. 键盘按 Win + R，输入 cmd，回车；或开始菜单搜索「命令提示符」打开。
2. 必须先装好 Python，并且安装时已勾选 Add python.exe to PATH。
3. 若刚装完 Python，请关掉旧窗口、新开一个 CMD，再执行下面命令（旧窗口读不到新 PATH）。

换源命令（复制整行到 CMD 后回车）：

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

换源一次即可，之后用 pip install 都会走清华源，下载更快。

确认是否生效：同一窗口再执行：

pip config list

输出里应能看到 global.index-url 指向清华地址。

提示：若提示 pip 不是内部或外部命令：说明 Python/PATH 未配好，先回到上一节重装并勾选 PATH，新开 CMD 后再试。若个别包仍慢，可临时加 -i https://pypi.tuna.tsinghua.edu.cn/simple。

PyCharm Community Edition（社区免费版）永久免费，完全支撑 Django、Scrapy、深度学习代码开发。

主下载页（Windows 自动识别）：
https://www.jetbrains.com/pycharm/download/#section=windows

历史社区版存档页（主页找不到 Community 时打开）：
https://www.jetbrains.com/pycharm/download/other.html

下载操作步骤：

1. 打开主下载页，下滑找到 Community Edition（免费开源）。
2. 点击下方 Download 获取 Windows .exe 安装包。
3. 按向导安装完成后启动 PyCharm → Open / New Project 打开项目文件夹。
4. 新建项目时选择 New virtualenv，为项目创建独立虚拟环境，避免全局库版本冲突。
5. 已有项目：File → Settings → Project → Python Interpreter → 齿轮 → Add → Virtualenv，选项目下 venv\Scripts\python.exe。
6. 内置 Terminal 左侧出现 (venv) 标识后，再执行 pip、爬虫、Django 命令。
7. 也可手动创建并激活：

python -m venv venv
venv\Scripts\activate.bat

PowerShell 激活：.\venv\Scripts\Activate.ps1（若禁止脚本，先执行 Set-ExecutionPolicy -Scope CurrentUser RemoteSigned）。退出：deactivate。

提示：命令行出现 (venv) 前缀，说明虚拟环境已激活，再装依赖才不会装到系统 Python。下载慢可将官网链接复制到迅雷加速。

1. 以上全部为官网直链，无第三方捆绑、无病毒，请勿从不明网盘二次打包页下载。
2. PyCharm 社区版永久免费，不要误下 Professional 试用版后因授权过期影响答辩演示。
3. 系统为 32 位 Windows 时：到 Python 总入口页选 32-bit 安装包；日常毕设电脑多为 64 位，用上文 amd64 直链即可。
4. 官网下载慢：复制直链到迅雷等工具下载，通常更快。
5. 安装 Python 时务必勾选 Add python.exe to PATH，装完后必须新开 CMD 再测 python --version。

确认终端左侧有 (venv) 后，按组执行（也可写入 requirements.txt 后 pip install -r requirements.txt）：

1. Scrapy 爬虫相关

pip install scrapy pywin32 requests beautifulsoup4

2. Django 后端（含跨域、MySQL 驱动）

pip install django django-cors-headers pymysql

3. 数据处理（Pandas 替代 Hive 离线计算）

pip install pandas numpy openpyxl

4. 深度学习：LSTM 销量预测、推荐模型

pip install tensorflow scikit-learn matplotlib

5. Hive 对接库（本地可不启用，仅保留代码兼容）

pip install pyhive

注意：TensorFlow 体积较大，首次安装需耐心等待；若失败可换清华源重试，或按项目文档改用 CPU 版 / 指定版本号。

提示：装完可用 pip list 核对上述包是否在列表中。

1. 数据采集：PyCharm 运行 Scrapy，抓取市场价格、竞品团购等数据，写入本地 MySQL。
2. 离线数据集生成：用 Navicat 17 将 MySQL 历史订单、爬虫数据导出为 .csv，作为模拟 Hive 离线表。
3. 离线处理（替代 Hive+HQL）：Pandas 读取 CSV，完成去重、缺失值填充、分组统计、特征提取，产出训练数据集。
4. 深度学习建模：清洗后的数据输入 TensorFlow，训练 LSTM 销量预测模型、神经网络个性化推荐模型。
5. 后端 AI 服务：Django 加载训练完成的模型，封装在线推理接口。
6. 前端可视化：Vue3 调用 Django 接口，ECharts 展示销量预测曲线、推荐分析图、算法指标看板。

提示：论文「系统实现 / 环境搭建」章节可按上述 6 步写成数据流图说明。

若部署到生产 Linux 集群，仅改配置即可切到真实 Hive，无需改业务逻辑：

1. 服务器搭建 Hadoop+Hive；可用 Sqoop 将 MySQL 业务数据同步至 HDFS。
2. 代码启用 pyhive 连接 Hive，执行 HQL 完成离线统计。
3. 训练数据直接从 Hive 表读取，去掉本地 CSV 中转，适配更大数据量。

答辩话术精简版（可背诵）：

本系统设计支持本地开发模拟模式与线上大数据集群模式。受单机 Windows 硬件限制，本地开发用 CSV + Pandas 模拟 Hive，完整实现清洗、特征提取等预处理；代码预留 Hive 标准对接接口，生产部署 Hadoop+Hive 后仅调配置即可读分布式离线表。两种模式业务逻辑统一，不影响整体功能与算法效果。

Python 毕设常需同时用到 MySQL、Navicat、Node（Vue3 前端），以及可选的 IDEA / JDK / Maven / HBuilderX。统一用下方安装包即可：

安装包下载：/tools/springboot3-vue3

下载后按包内说明安装即可；详细步骤也可对照本教程后续「Java / MySQL / Navicat / Node / HBuilderX」专章。

提示：Python 本体与 PyCharm 社区版仍用上文官网链接；其余配套工具优先用该安装包。

MySQL 8.0：存团购实时业务数据、爬虫抓取的生鲜竞品等数据。安装包含 5.7 / 8.0；步骤详见本教程「MySQL」专章。

安装包下载：/tools/springboot3-vue3

Navicat 17：可视化管理 MySQL 表，并支持导出 CSV，作为模拟 Hive 离线表（同在上述安装包内）。

1. 打开 Navicat 17，新建 MySQL 连接（主机 localhost、端口 3306、账号 root、密码与安装时一致）。
2. 测试连接成功后，选中历史订单表 / 爬虫结果表。
3. 右键 → 导出向导 / Dump 数据 → 目标格式选 CSV。
4. 导出到项目约定目录（如 data/hive_mock/），文件名对应「离线表」含义（订单、用户行为、竞品价格等）。
5. 后续用 Pandas 读这些 CSV，等价完成 Hive 侧清洗与统计。

提示：本方案统一用 Navicat 17 导出 CSV 模拟 Hive 离线表，无需再装 DBeaver。

算法可视化与管理端页面常用 Vue3 + ECharts。先装 Node 20.18，再选一个前端编辑器即可，VS Code 与 HBuilderX 二选一，不必两个都装。

安装包下载：/tools/springboot3-vue3

1. 安装 Node 20.18（自带 npm）：从安装包获取，验证：node -v、npm -v。
2. 编辑器二选一：
   • 方案 A · VS Code（纯 Vue3 / ECharts 网页前端更常用）：安装包内不含，官网下载 https://code.visualstudio.com/Download
   • 方案 B · HBuilderX 4.8.7（含 UniApp / 小程序时更方便）：同在安装包内，解压或安装后打开前端目录即可。
3. 进入前端目录安装依赖并启动：

npm install
npm run serve

若项目用 Vite，启动命令可能是 npm run dev，以 package.json 的 scripts 为准。

提示：前端连 Django 接口时注意跨域：后端需安装并配置 django-cors-headers。只会写 Vue3 网页就选 VS Code；要顺带跑小程序再选 HBuilderX。