python自动化采集数据（二）- 图片采集 一、 采集图片库内容站需要与内容相关的图片，本文的内容是采集图片1.1 采集第一张图片1.1.1 采集sougou图片，并压缩成一张原创的图片 ✓{collapse}{collapse-item label="采集 搜狗 图片，滚轮滚动 若干 个页面尺寸，滚动到 2 次 采集 20 左右 张图时，用request库抓取图片(已测试10小时稳定抓取60615张图片)" open} {/collapse-item}{collapse-item label="将图片压缩成一张大图" open} {/collapse-item}{/collapse}1.1.2 采集bing图片，并压缩成一张原创的图片 ✓{collapse}{collapse-item label="采集 bing 图片，滚轮滚动 若干 个页面尺寸，滚动到 2 次 采集 20 左右 张图片时，用request库抓取图片(已测试稳定抓取39489张图片)" open}{/collapse-item}{/collapse}将图片压缩成一张大图（测试效果同上）想法：用 pytorch 训练一个可以识别大楼的机器人，遇到不是大楼的图片能够智能化的筛掉1.2 采集第二张图片 ✓获取页面的 1-3条 ，使用 DrissionPage 截图实用的加水印工具 pip install filestools -i https://pypi.org/simple/ -U如果页面少于3张，就截取1-2条，以此类推{collapse}{collapse-item label="百度知道（同一个ip不稳定，10小时只采集了33个截图）" open}{/collapse-item}{collapse-item label="搜狗问问（同一个ip稳定，10小时采集了2043个截图）" open}{/collapse-item}{/collapse}

python自动化采集数据（一）- 采集思路 一、采集原则1.1 学习与创新内容还是那些内容，但是采集的思路要重新考虑，不要一味照搬，这样就失去了思考的意义，但是也要借鉴前车之优，2024年6月15日开始动工，采集多个知识站点的数据，处理成伪原创的文章，目的是获取百度流量。1.2 分工明确将内容模块分成A、B、C ... 去写，不要挤在一起，各自去处理各自的事，A、B、C三个事件互不影响。二、采集思路{collapse}{collapse-item label="1.图片采集和处理" open}方案一（滚动刷新）X {x}从 搜狗 采集图片 若干张 随机获取 16 张 {x}从 bing 采集图片 若干张 随机获取 16 张 （采集效率低） {x}通过python处理，随机挑选 执行 搜狗 还是 bing ,将16张图 组合成 一张新的图片问题：需要滚动 bing 很容易一次性采不满16张，速度 比 搜狗 慢一倍方案二（直接采集页面有的图片）X {x}从 搜狗 采集图片 若干张 随机获取 8 张 {x}从 bing 采集图片 若干张 随机获取 8 张 {x}通过python处理，将16张图 组合成 一张新的图片想法，没有实际去使用方案三（采集搜狗图库图片）✓ {x}从 搜狗 采集图片 若干张 随机获取 16 张 {x}通过python处理，将 16 张图 组合成 一张新的图片测试后稳定出图{/collapse-item}{collapse-item label="2.内容采集和处理" open}{x}从搜狗问问采集一张位置截图 {x}从百度知道，通过关键词，获取百度知道的长尾词,采集一条百度知道的内容作为描述词 {x}采集搜狗问问 {x}采集百度知道 {x}采集头条问答 (效率较低，经常采集不到内容) {x}使用 bing 翻译处理这些内容，变成伪原创的内容 { }发布文章，看流量知道效果(需要经过百度的验证){/collapse-item}{/collapse}

PyTorch学习笔记（一） 一、配置开发环境1. 安装Anaconda1.1 Anaconda介绍Anaconda，中文大蟒蛇，是一个开源的Anaconda是专注于数据分析的Python发行版本，包含了conda、Python等190多个科学包及其依赖项。1.2 Anaconda安装网站清华大学镜像站1：https://repo.anaconda.com/archive/清华大学镜像站2(用科技后速度还行)：https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/?C=M&O=D1.3 安装配置命令教程https://www.jb51.net/python/304622456.htm#_lab2_1_2建议安装3.9以下的python版本，高版本会出现比较多的版本冲突问题！2. 安装PytorchPytorch官网：https://pytorch.org/3. 安装pycharmpycharm官网：https://www.jetbrains.com.cn/pycharm/3.1 配置 conda 环境选择 G:\myware\anaconada\envs\mypython310\python.py4. 启动jupyter默认情况下，只有base环境能够启动jupyter，所以要在新建的环境启动jupyter，需要执行如下操作#python版本要低于3.9，不然会安装不下 conda install nb_conda #重新安装python conda uninstall python conda install python=3.9 # 安装完成后，在新建环境下执行 jupyter notebook{dotted startColor="#ff6c6c" endColor="#1989fa"/}本次学习环境搭建结束，下一篇学习pytorch基础！