本文共 3568 字，大约阅读时间需要 11 分钟。

爬取图片批量下载与处理工具

项目名称：爬取图片数据

创建时间：20200514

一、图片批量下载工具说明

1. 工具概述

这是一个用于爬取图片的批量下载工具，支持多关键词搜索和图片批量处理。主要功能包括：

• 图片下载：支持多关键词批量下载图片，支持分页加载。
• 图片处理：包括灰度化、重命名和格式转换等功能。
• 数据转换：将图片格式从BGR转换为RGB，并进行重命名。

2. 工具使用方法

1. 参数配置

• 关键词输入：支持多关键词搜索，例如“公章”、“发票专用章”、“空姐服装”等。
• 分页设置：默认每页30张图片，支持自定义分页数量。
• 保存路径：支持本地路径设置，图片会自动存储到指定目录。

2. 批量下载

# 示例：爬取“公章”图片
dataList = getIntPages('公章', 100)  # 依据关键词获取50页的图片列表，每页30张图片
fetch_img(stamps_path, dataList)  # 存取图片

二、图片处理工具说明

1. 灰度化工具

def BGR2GRAY(imgs_dir, save_dir):
    # 读取图片列表
    imgs = os.listdir(imgs_dir)
    
    # 遍历图片文件
    for i, name in enumerate(imgs):
        img = cv2.imread(os.path.join(imgs_dir, name))
        gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
        cv2.imwrite(os.path.join(save_dir, f'gray_{name}'), gray)

2. 图片重命名

def move_file(src_dir, dst_dir):
    # 重命名图片文件
    for img in os.listdir(src_dir):
        shutil.copyfile(os.path.join(src_dir, img), os.path.join(dst_dir, f"{i:06}.jpg"))

3. 图片格式转换

def convert_to_RGB(imgs_path, save_imgs_path, start=0):
    # 遍历图片文件
    for img_name in os.listdir(imgs_path):
        img = Image.open(os.path.join(imgs_path, img_name))
        img_convert_RGB = img.convert("RGB")
        img_convert_RGB.save(os.path.join(save_imgs_path, f"{start:06}.jpg"))
        start += 1

三、常见错误处理

1. 网络请求错误

• 错误类型：requests.exceptions.TooManyRedirects
• 解决方法：
  • 配置代理（如使用proxies参数）。
  • 增加请求头信息，避免被反爬虫拦截。

2. 代码运行报错

• 错误类型：未安装依赖库。
• 解决方法：
  • 确保安装了requests、Pillow、opencv-python等库。
  • 运行脚本前，检查环境变量是否正确配置。

四、工具优化建议

五、使用示例

1. 爬取“公章”图片

# 示例：爬取“公章”图片
import requests
import re
import os
def getIntPages(keyword, pages):
    params = []
    for i in range(30, 30*pages+30, 30):
        params.append({
            'tn': 'resultjson_com',
            'ipn': 'rj',
            'ct': '201326592',
            'is': '',
            'fp': 'result',
            'queryWord': keyword,
            'cl': '2',
            'lm': '-1',
            'ie': 'utf-8',
            'oe': 'utf-8',
            'st': '-1',
            'ic': '0',
            'word': keyword,
            'face': '0',
            'istype': '2',
            'nc': '1',
            'pn': i,
            'rn': '30'
        })
    url = 'https://image.baidu.com/search/acjson'
    urls = []
    for i in params:
        content = requests.get(url, params=i).text
        img_urls = re.findall(r'"thumbURL":"(.*?)"', content)
        urls.append(img_urls)
    return urls
# 示例：爬取“公章”图片并存储
dataList = getIntPages('公章', 100)
fetch_img(stamps_path, dataList)

2. 灰度化处理示例

# 示例：将图片灰度化
imgs_dir = 'D:/ZF/2_ZF_data/3_stamp_data/finge'
save_dir = 'D:/ZF/2_ZF_data/3_stamp_data/'
def BGR2GRAY(imgs_dir, save_dir):
    imgs = os.listdir(imgs_dir)
    for i, name in enumerate(imgs):
        img = cv2.imread(os.path.join(imgs_dir, name))
        gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
        cv2.imwrite(os.path.join(save_dir, f'gray_{name}'), gray)
BGR2GRAY(imgs_dir, save_dir)

3. 重命名图片示例

# 示例：重命名图片
src_dir = r'D:\ZF\2_ZF_data\5_胡子数据\beard\JPEGImages_src'
dst_dir = r'D:\ZF\2_ZF_data\5_胡子数据\beard\JPEGImages'
def move_file(src_dir, dst_dir):
    imgs = os.listdir(src_dir)
    i = 1042
    for img in imgs:
        shutil.copyfile(os.path.join(src_dir, img), os.path.join(dst_dir, f"{i:06}.jpg"))
        i += 1
move_file(src_dir, dst_dir)

六、代码版本更新

七、使用前注意事项

如有问题，请在评论区留言，我会尽快解答！

转载地址：http://wcrfk.baihongyu.com/