基本图像变换 和 常用操作

这里简单介绍一些经常用到的图像的基本变换操作

更多的图像变换请看image API

1. 图像缓冲区介绍

MaixPy 为图像设计了两个缓冲区,

  • 一个是RGB565缓冲区,顾名思义, 是以RGB565的格式存放这图片的信息的一块内存。注意在内存中的排序是[像素1 RGB, 像素2 RGB...]
  • 另一个是RGB888缓冲区,顾名思义, 是以RGB88的格式存放这图片的信息的一块内存。注意在内存中的排序是[所有像素 R, 所有像素 G, 所有像素 B], 我们也称之为AI内存

这里使用两个内存块主要的原因是底层代码所有图片操作以及LCD显示均是基于RGB565, 但是KPU又需要RGB888的输入。

                   +---------------+
                   |               |
          +--------+ camera(sensor)+-------+
          |        |               |       |
          |        +---------------+       |
          |                                |
+---------v------+                +--------v---------+
|                | img.pix_to_ai()|                  |
|      RGB565    +--------------->+      RGB888      |
|                |                |                  |
+--------+-------+                +------+-----------+
         ^                               |
         |                               |
         |                               v
+--------+----------+             +------+-----------+
|                   |             |                  |
|     image ops     |             |   KPU            |
|                   |             |                  |
+-------------------+             +------------------+

只有摄像头采集图片时,硬件会自动放一份数据到RGB888内存区域, 其它的都不会自动填充RGB888内存块, 软件操作只会对RGB565内存进行操作,不会自动更新RGB888,(因为更新需要消耗时间) 这很值得注意, 这意味着,每次我们用更改了RGB565内存块,比如执行了img = img.resize((224, 224)),如果希望KPU使用更改过后的图片, 需要执行img.pix_to_ai()来将RGB565的图像手动更新到RGB888的区域,然后才可以调用kpu相关的函数进行模型推理!

同样反方向更新也提供 API: img.ai_to_pix(), 这会将RGB888区域的数据更新到RGB565区域

2. resize, 修改分辨率

import image
img = image.Image(size=(100, 100))
img2 = img.resize(50, 50)
print(img)
print(img2)

3. 获取和修改像素值

import image
img = image.Image(size=(10, 10))
print("pixel 0:", img[0], img.get_pixel(0, 0))
img[0] = (255, 0, 0)
img = img.set_pixel(1, 0, (255, 255, 10))
print("after pixel 0 change:", img[0], img[1])

这里设置的第二个像素点B10, 实际发现读出来是8, 这是正常现象,因为前面说了,在内存中储存是用了RGB565进行储存,所以会有误差

4. 复制图像

import image
img = image.Image(size=(10, 10))
img2 = img.copy()
img2[0] = (255, 0, 0)
print(img[0], img2[0])

5. 剪裁图像

同样使用copy函数

import image
img = image.Image(size=(10, 10))
img2 = img.copy(roi=(0, 0, 5, 5))
img2[0] = (255, 0, 0)
print(img)
print(img2)
print(img[0], img2[0])

6. 转换成 bytes 对象

转换成 RGB565 字符串

import image
img = image.Image(size=(10, 10))
img[0] = (255, 0, 0)
img_bytes = img.to_bytes()
print("bytes length: %d bytes[0]: %x%x" %(len(img_bytes), img_bytes[0], img_bytes[1]))

这里输出的值为RGB565格式,以两个字节表示一个像素点储存

另外, 也可以先将图片压缩为 JPEG 格式,然后再转换成bytes

import image
img = image.Image(size=(10, 10))
img = img.compressed(quality=20)
jpeg_bytes = img.to_bytes()
print("bytes length: %d bytes[0]: %x%x" %(len(jpeg_bytes), jpeg_bytes[0], jpeg_bytes[1]))

这里使用compressed函数不会修改原图, 使用compress()函数则会修改原图, 但是压缩后的大小如果比原图占用的空间还大,就会失败

7. 转换为灰度图像

img = img.to_grayscale(copy=False)

这里 copy 参数的意思就是是否要重新申请一片内存, 不修改原图的意思

8. 转换为 RGB565 彩图

转换为 彩图, 注意只是格式成为了彩图, 画面并不是彩图, 如果需要将灰度图转换为彩图,使用img.to_rainbow()

img = img.to_rgb565(copy=True)

这里 copy 参数的意思就是是否要重新申请一片内存, 不修改原图的意思 如果原图是灰度图, 必须是True

9. 转换为彩图

img = img.to_rainbow(copy=True)

这里 copy 参数的意思就是是否要重新申请一片内存, 不修改原图的意思 如果原图是灰度图, 必须是True

10. 保存到文件系统

img.save("/sd/test.jpg", quality=95)
img.save("/sd/test.bmp")

11. 旋转

img.rotation_corr([x_rotation=0.0[, y_rotation=0.0[, z_rotation=0.0[, x_translation=0.0[, y_translation=0.0[, zoom=1.0]]]]]])

中括号为可选参数,即沿着哪个轴旋转一定的角度, 如果minimum版本的固件里面没有这个函数, 可以用完全版本的固件

powered by GitbookFile Modify: 2020-11-26 12:58:16

results matching ""

    No results matching ""