经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 数据库/运维 » Linux/Shell » 查看文章
Linux Media 子系统链路分析
来源:cnblogs  作者:浇筑菜鸟  时间:2023/11/10 10:07:30  对本文有异议

一、概述

Media 子系统是一个用于处理多媒体设备的框架,它提供了一组 API 和驱动程序,用于管理和控制视频、音频和其他多媒体设备。而 V4L2 是 media 子系统的一部分,用于处理视频相关的功能。

了解 MIPI 摄像头后,发现 linux 系统下的流媒体驱动很复杂,而 MIPI 摄像头主要分为感光模组和 ISP 处理器,其中感光模组是用于生成 Bayer 数据(拜耳阵列),ISP 用于处理感光模组产生的数据(功能比较复杂这里就不介绍了)。对于 MIPI 摄像头而言,ISP 可以在摄像头前端或集成在SOC中,对于这两种情况,所需的驱动程序是不一样的。

Media 子系统刚好解决了这个问题,采用了分层式架构,可以粗暴的理解成为产线上的工位,每个工位处理的工作不一样,而每个工位之间通过传送带连接,只需要改变传送带的连接方式,即可实现不同的功能,接下来我们对 Media 的链路进行分析,目前我只用过 RV1126 开发板,不知道其他厂商的实现是方式是否一样

二、测试环境

  1. 开发板:RV1126
  2. ARM Linux 版本:4.19.111

三、Media 设备

  1. Media 设备节点在 /dev 目录下,如下图所示

  2. Media 设备之间的连接方式如下图所示

  3. Media 设备信息

    • entity:抽象的硬件设备模块(类比电路板上面的某个元器件)
    • pad: 抽象的硬件设备端口(类比某个元器件的管脚)
    • link: 抽象的硬件设备的连线(类比元器件管脚之间的连线)

四、节点关系

  1. 查看节点之间的拓扑关系,如下图所示

    1. media-ctl -p -d /dev/mediaX

    注意:

    • Source和符号“->”表示输出
    • Sink和符号“<-”就表示输入
    • link表示连接,或者表示链路
  2. 根据上面关系很容易画出拓扑图,如下所示

五、RV1126 链路关系

通过查看设备树信息,可以得出开发板的链路关系,如下图所示

注意:从上面可以看出 RV1126 开发板中,imx415 摄像头的数据流向,只需要知道每个模块对应的节点,即可抓出我们想要的视屏数据

六、media 和 video 节点对应关系

  1. 查询 video 节点和 ISP/ISPP 节点的对应关系

    1. grep "" /sys/class/video4linux/*/name
  2. 名称相同的 ISP 节点,可能属于不同的 media 设备下

    1. media-ctl -d /dev/media3 -e "rkispp_scale1"
    2. media-ctl -d /dev/media4 -e "rkispp_scale1"
  3. 筛选

    1. media-ctl -p -d /dev/media4 | grep rkispp_scale0
  4. 查看对应 video 节点支持的格式

    1. v4l2-ctl --list-formats-ext --device /dev/videoX

七、抓图测试

v4l2-ctl 抓图命令

  1. v4l2-ctl -d /dev/video30 --set-fmt-video=width=3840,height=2160,pixelformat=NV12 \
  2. --stream-mmap=3 \
  3. --stream-skip=3 \
  4. --stream-to=/tmp/bypass0.raw \
  5. --stream-count=1 \
  6. --stream-poll
  7. # -d:指定摄像头的设备节点
  8. # --set-fmt-video:指定了宽高及pxielformat(用FourCC表示)。NV12即用FourCC表示的pixelformat;
  9. # --Pixelformat:指定文件格式,NV12;
  10. # --stream-mmap:指定 buffer 的类型为 mmap;
  11. # --stream-skip:指定丢弃(不保存到文件)前3帧;
  12. # --stream-to:指定帧数保存的文件路径;
  13. # --stream-count:指定抓取的帧数,不包括--stream-skip丢弃的数量;
  14. # --stream-poll:v4l2-ctl 采用异步 IO。
  1. 使用 v4l2-ctl 从 rkispp_m_bypass 抓 YUV 图

    1. # 查看对应video节点支持的格式
    2. media-ctl -d /dev/media3 -e "rkispp_m_bypass"
    3. v4l2-ctl --list-formats-ext --device /dev/video30
    4. # 要开启ispserver,否则报错RKISP找不到iq
    5. ispserver &
    6. # 抓帧(IMX415摄像头插在MIPI CSI0接口上)
    7. v4l2-ctl -d /dev/video30 --set-fmt-video=width=2592,height=1944,pixelformat=NV12 --stream-mmap=3 --stream-skip=30 --stream-to=/tmp/bypass0.raw --stream-count=1 --stream-poll
    8. # 通过adb命令把文件拷贝到Ubuntu下
    9. adb pull /tmp/bypass0.raw .
    10. # Ubuntu上查看
    11. ffplay -f rawvideo -video_size 2592x1944 -pixel_format nv12 bypass0.raw
  2. 从 VICAP 抓 RAW 图

    1. # 显示video0节点所有信息
    2. v4l2-ctl -d /dev/video0 --all
    3. # 查看对应video0节点支持的格式
    4. v4l2-ctl --list-formats-ext --device /dev/video0
    5. # 设置数据以非紧凑型存储
    6. echo 0 > /sys/devices/platform/rkcif_mipi_lvds/compact_test
    7. v4l2-ctl -d /dev/video0 --set-fmt-video=width=2592,height=1944, pixelformat=GB10 --stream-mmap=3 --stream-skip=30 --stream-to=/tmp/vicap.raw --stream-count=1 --stream-poll
    8. # 图片转换
    9. ./test vicap.raw vicap_GB10.pgm 2592 1944 65535 1
    10. # 图片显示
    11. eog vicap_GB10.pgm

八、注意事项

(1)抓取 ISP 图像时需要开启 ispserver 服务
  1. 查看 ispserver 服务是否开启

    1. ps -aux | grep ispserver
  2. 开启 ispserver 服务

    1. # 表示不开启数据库服务dbserver
    2. ispserver --no-sync-db &
    3. # 或者
    4. ispserver &
  3. 关闭 ispserver 服务

    1. kill -9 PID

(2)抓图是链路之间必须是 ENABLED 状态

  1. 抓图时 rkisp-bridge-ispp 必须是ENABLED 的(1表示[ENABLED],0表示disable [ ]),设置命令如下

    1. # 对应MIPI CSI0
    2. media-ctl -d /dev/media1 -l '"rkisp-isp-subdev":2->"rkisp_mainpath":0[0]'
    3. media-ctl -d /dev/media1 -l '"rkisp-isp-subdev":2->"rkisp_selfpath":0[1]'
    4. media-ctl -d /dev/media1 -l '"rkisp-isp-subdev":2->"rkisp-bridge-ispp":0[1]'
    5. media-ctl -d /dev/media3 -l '"rkispp_input_image":0->"rkispp-subdev":0[0]'
    6. # 对应MIPI CSI1
    7. media-ctl -d /dev/media2 -l '"rkisp-isp-subdev":2->"rkisp_mainpath":0[0]'
    8. media-ctl -d /dev/media2 -l '"rkisp-isp-subdev":2->"rkisp_selfpath":0[1]'
    9. media-ctl -d /dev/media2 -l '"rkisp-isp-subdev":2->"rkisp-bridge-ispp":0[1]'
    10. media-ctl -d /dev/media4 -l '"rkispp_input_image":0->"rkispp-subdev":0[0]'

(3)RKMedia 例程测试注意事项

  1. 开启和关闭 mediaserver

    1. # 开启摄像头应用
    2. /oem/RkLunch.sh &
    3. # 关闭摄像头应用
    4. /oem/RkLunch-stop.sh &

(4)RAW 数据查看

在抓图 RAW 数据图像时,可以使用正点原子提供的 raw 转 pgm 图工具处理后,进行查看

参看资料

正点原子 PPT 课件
RV1126 相关手册

原文链接:https://www.cnblogs.com/jzcn/p/17822224.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号