Linux GUI子系统概述 GUI子系统的构成及工作流程
作者：nick
开始前的几点说明：
本文会尽量从初学者的角度去描述整个linux整个图形子系统，但由于其复杂性，涉及到的模块比较多，可能会需要一些相关的先验知识；
对于系统的介绍，分析的着重点可能不会在于为什么该这样设计，而是在于在现有的显示系统下，我们能做些什么来适配我们的目的；
1.前言
gui作为人机交互信息量最大的一种方式，无论在消费还是工业级产品上都大行其道。但同时由于它处在整个系统的核心位置，对外需要通过鼠标、键盘 、显示器进行i/o获取和控制，在内需要负责图形的生成，渲染，整个系统复杂度比较高。本文会从以下几个 方面来介绍gui子系统：
以linux下的原生gui子系统为例，概述gui子系统的概念，软硬件部分在gui子系统的中的角色及大致构成；
着重分析linux下drm+kms的软件实现方式，并且以xilinx的zynq-7000 sopc为例，详细介绍相关片内硬件模块在gui系统中的角色及实现方式；（由于gpu模块硬件的源码的开源程度不高，不在本文的分析范围内）
分析现有gui框架下，在硬件加速方面，我们能做的事情，并以非常简单的图像处理为例，给出相应的设计方案；
本文的最后一部分，会在zynq-7000上面（digilent的zybo开发板）部署整个linux+硬件边缘提取处理+qt+hdmi的环境，并给出具体的实现流程；
2.linux gui子系统概述
gui作为人机交互的一种方式，通过其承载的大量信息提高了信息交流的效率。这里我们不介绍鼠标、键盘等输入设备，只介绍输出显示这一子模块。生活中大家最常见的图形化界面估计就是图像化界面的桌面环境，即窗口系统，（如下图的ubuntu、xfce等）。
窗口系统一般都具备以下基本功能：
通过wimo（window-视窗、icon-图标、menu-选单、pointer-指标）4个基本元素来实现人机交互；
上述的4个基本元素都能通过第三方的程序来扩展（也就是安装新程序）；
在实现方式上，大部分linux下的窗口系统都是通过x来响应不同的交互请求及输出到显示器上。因此，整个应用层的gui结构如下：
因此，在应用层面上，gui系统的核心部分是x，x的总体功能一句话描述如下：通过指定的协议接受本地或远程的鼠标、键盘需求，并切输出相应的窗口画面到显示设备上。细分来讲，x主要由以下4个组件构成：
x server：负责软硬件的管理，将输入的软硬件事件通过一定协议转发给x client，将输出的图形绘制在屏幕上；
x client：每个需要涉及到gui的app，可以实例化为一个x client，x client主要是响应x server分发下来的事件，通过处理后，将待绘制的图像回传给x server；
x window manager：x window manager作为一个特殊的x client，主要负责为x server管理多个x client（一个具体的例子就是对虚拟桌面的管理），起着视窗管理员的角色。常见的x window manager如下:
. gnome (gnu network object model environment);
. kde (k desktop enviroment)
. twm (tab window manager)
. xfce (xforms common environment)
. display manager： 提供登陆许可环境以获得x window的控制
我们再从开发者的角度来看一下gui。以qt为例，我们在使用qt组件进行开发时，一般是利用组件中的各种类库，去响应各种事件输入（单双击鼠标、键盘操作）以及给出相应的输出到显示器上。其实际工作的时候，这些工作底层都是通过和window system（x）之间的交互实现的。
这些基本事件的响应，基本的图像单元的绘制，是window system通过封装成一个通用的gui工具集提供给qt（如x的xlib）。对于qt而言，这个window system可以是x，也可以是qt自行研发的qws视窗系统。整个应用层的gui系统则可看作如下：
3.linux gui子系统的构成及工作流程
从应用层深入到内核中去。暂不考虑在linux下的gui，我们知道，单纯的显示图片的话，整个数据流的走向是这样的：
即按照一定时序时序，将图像信息从内存中输出到显示接口上。若在生成frame buffer里面的图像数据时不仅通过软件memory处理，还用到了硬件加速的话，数据流则变为如下：
其中accelerate logic就是显卡部分（若是soc的片内gpu模块，则是通过片内高速总线进行数据交互的，若若是独立显卡，一般是通过pci-e高速串行接口进行数据传输的）。把这个数据流走向放入linux中，数据流和控制流都需要和用户层进行交互，也就是说，linux下，必须得有相关的软件驱动给用户层提供相应的api。这也就是drm（direct rendering manager）和kms（kernel mode setting）的角色。
linux原生系统中提供由drm+kms构成的dri（direct rendering infrastructure）中：
drm主要负责负责数据流，即通过软件或硬件，生成目标图像，存储在framebuffer中；
kms主要负责控制流，即针对外置lcd以及指定的显示模式设置，将生成好了的frame数据信息送到响应display port上（vga、hdmi等）；
kernel将这两大快的基本api抽出来封装成libdrm供x使用，整个应用层+kernel相关的gui结构如下图：
整个data flow也替换成了上图的flow1~flow6。关于drm和kms的详细介绍我们会放到这个系列的第2篇，这里再提一下涉及到3d的gui。在需要用到3d图形交互的场景，往往对着实时性要求较高，x中的server/client之间的数据协议解析以及数据交互导致的延时是这种场景不能容忍的。因此dri是支持这种app越过x直接和内核交流的方式的。比如，qt中可以直接通过opengl相关类库直接调用libdrm中api控制硬件中的frambuffer软硬件，此时结构如下：
4.我们能做些什么
在一个常见的系统研发中，子系统中我们能做的基本就是适配，适配不同的cpu、适配不同的os、适配不同的显示设备。而对于专业的gpu研发团队来说，则需要在现有dri框架下，为自己的gpu逻辑设计专用的驱动，软硬件工作量庞大。作为一个高性能计算实验室，当然要将一些高速计算融进去。在本系列第3篇，我们将会在xilinx的zynq7000系列芯片上，利用其中的pl逻辑资源，设计非常简单的图像处理ip，加速drm中的framebuffer数据并通过hdmi显示到lcd上。
实现光子角动量的精确控制新技术
如何对伺服电机实施理想控制
智慧城市的建设离不开智能安防的发展 智能家居发展走向专业化
人工智能芯片推进安防迈进AI时代 终端AI芯片市场还有待拓展
台湾“中央研究院”开发出一款新型生成对抗网络
Linux GUI子系统概述 GUI子系统的构成及工作流程
华为加大部署NFV，提升运营商4G/5G网络质量
一块单片机在工业领域能代替PLC么？
单片机内部EEPROM的读写原理及驱动程序编写
儿童手表可能存在安全隐患，儿童可能要面对网络安全风险
OPPOR11什么时候上市：OPPOR11即将发布，VIVOX11还会远吗？11大比拼你最期待谁？
Linux CPU上下文切换
深圳信禾昌介绍不锈钢电热管电阻加热原理
中国人现在不那么喜欢买苹果手机了？iPhone8能否挑起大梁？
放大倍数为40的放大电路设计
碳化硅功率器件在航天电子产品中的应用领域
智能手机和平板电脑侵蚀，传统媒体设备将全面萎缩
如何将大数据技术应用于精益六西格玛？
中国联通携手中兴通讯打通全球首个5G电话
开关电源缓冲电路设计
开始前的几点说明：
本文会尽量从初学者的角度去描述整个linux整个图形子系统，但由于其复杂性，涉及到的模块比较多，可能会需要一些相关的先验知识；
对于系统的介绍，分析的着重点可能不会在于为什么该这样设计，而是在于在现有的显示系统下，我们能做些什么来适配我们的目的；
1.前言
gui作为人机交互信息量最大的一种方式，无论在消费还是工业级产品上都大行其道。但同时由于它处在整个系统的核心位置，对外需要通过鼠标、键盘 、显示器进行i/o获取和控制，在内需要负责图形的生成，渲染，整个系统复杂度比较高。本文会从以下几个 方面来介绍gui子系统：
以linux下的原生gui子系统为例，概述gui子系统的概念，软硬件部分在gui子系统的中的角色及大致构成；
着重分析linux下drm+kms的软件实现方式，并且以xilinx的zynq-7000 sopc为例，详细介绍相关片内硬件模块在gui系统中的角色及实现方式；（由于gpu模块硬件的源码的开源程度不高，不在本文的分析范围内）
分析现有gui框架下，在硬件加速方面，我们能做的事情，并以非常简单的图像处理为例，给出相应的设计方案；
本文的最后一部分，会在zynq-7000上面（digilent的zybo开发板）部署整个linux+硬件边缘提取处理+qt+hdmi的环境，并给出具体的实现流程；
2.linux gui子系统概述
gui作为人机交互的一种方式，通过其承载的大量信息提高了信息交流的效率。这里我们不介绍鼠标、键盘等输入设备，只介绍输出显示这一子模块。生活中大家最常见的图形化界面估计就是图像化界面的桌面环境，即窗口系统，（如下图的ubuntu、xfce等）。
窗口系统一般都具备以下基本功能：
通过wimo（window-视窗、icon-图标、menu-选单、pointer-指标）4个基本元素来实现人机交互；
上述的4个基本元素都能通过第三方的程序来扩展（也就是安装新程序）；
在实现方式上，大部分linux下的窗口系统都是通过x来响应不同的交互请求及输出到显示器上。因此，整个应用层的gui结构如下：
因此，在应用层面上，gui系统的核心部分是x，x的总体功能一句话描述如下：通过指定的协议接受本地或远程的鼠标、键盘需求，并切输出相应的窗口画面到显示设备上。细分来讲，x主要由以下4个组件构成：
x server：负责软硬件的管理，将输入的软硬件事件通过一定协议转发给x client，将输出的图形绘制在屏幕上；
x client：每个需要涉及到gui的app，可以实例化为一个x client，x client主要是响应x server分发下来的事件，通过处理后，将待绘制的图像回传给x server；
x window manager：x window manager作为一个特殊的x client，主要负责为x server管理多个x client（一个具体的例子就是对虚拟桌面的管理），起着视窗管理员的角色。常见的x window manager如下:
. gnome (gnu network object model environment);
. kde (k desktop enviroment)
. twm (tab window manager)
. xfce (xforms common environment)
. display manager： 提供登陆许可环境以获得x window的控制
我们再从开发者的角度来看一下gui。以qt为例，我们在使用qt组件进行开发时，一般是利用组件中的各种类库，去响应各种事件输入（单双击鼠标、键盘操作）以及给出相应的输出到显示器上。其实际工作的时候，这些工作底层都是通过和window system（x）之间的交互实现的。
这些基本事件的响应，基本的图像单元的绘制，是window system通过封装成一个通用的gui工具集提供给qt（如x的xlib）。对于qt而言，这个window system可以是x，也可以是qt自行研发的qws视窗系统。整个应用层的gui系统则可看作如下：
3.linux gui子系统的构成及工作流程
从应用层深入到内核中去。暂不考虑在linux下的gui，我们知道，单纯的显示图片的话，整个数据流的走向是这样的：
即按照一定时序时序，将图像信息从内存中输出到显示接口上。若在生成frame buffer里面的图像数据时不仅通过软件memory处理，还用到了硬件加速的话，数据流则变为如下：
其中accelerate logic就是显卡部分（若是soc的片内gpu模块，则是通过片内高速总线进行数据交互的，若若是独立显卡，一般是通过pci-e高速串行接口进行数据传输的）。把这个数据流走向放入linux中，数据流和控制流都需要和用户层进行交互，也就是说，linux下，必须得有相关的软件驱动给用户层提供相应的api。这也就是drm（direct rendering manager）和kms（kernel mode setting）的角色。
linux原生系统中提供由drm+kms构成的dri（direct rendering infrastructure）中：
drm主要负责负责数据流，即通过软件或硬件，生成目标图像，存储在framebuffer中；
kms主要负责控制流，即针对外置lcd以及指定的显示模式设置，将生成好了的frame数据信息送到响应display port上（vga、hdmi等）；
kernel将这两大快的基本api抽出来封装成libdrm供x使用，整个应用层+kernel相关的gui结构如下图：
整个data flow也替换成了上图的flow1~flow6。关于drm和kms的详细介绍我们会放到这个系列的第2篇，这里再提一下涉及到3d的gui。在需要用到3d图形交互的场景，往往对着实时性要求较高，x中的server/client之间的数据协议解析以及数据交互导致的延时是这种场景不能容忍的。因此dri是支持这种app越过x直接和内核交流的方式的。比如，qt中可以直接通过opengl相关类库直接调用libdrm中api控制硬件中的frambuffer软硬件，此时结构如下：
4.我们能做些什么
在一个常见的系统研发中，子系统中我们能做的基本就是适配，适配不同的cpu、适配不同的os、适配不同的显示设备。而对于专业的gpu研发团队来说，则需要在现有dri框架下，为自己的gpu逻辑设计专用的驱动，软硬件工作量庞大。作为一个高性能计算实验室，当然要将一些高速计算融进去。在本系列第3篇，我们将会在xilinx的zynq7000系列芯片上，利用其中的pl逻辑资源，设计非常简单的图像处理ip，加速drm中的framebuffer数据并通过hdmi显示到lcd上。
实现光子角动量的精确控制新技术
如何对伺服电机实施理想控制
智慧城市的建设离不开智能安防的发展 智能家居发展走向专业化
人工智能芯片推进安防迈进AI时代 终端AI芯片市场还有待拓展
台湾“中央研究院”开发出一款新型生成对抗网络
Linux GUI子系统概述 GUI子系统的构成及工作流程
华为加大部署NFV，提升运营商4G/5G网络质量
一块单片机在工业领域能代替PLC么？
单片机内部EEPROM的读写原理及驱动程序编写
儿童手表可能存在安全隐患，儿童可能要面对网络安全风险
OPPOR11什么时候上市：OPPOR11即将发布，VIVOX11还会远吗？11大比拼你最期待谁？
Linux CPU上下文切换
深圳信禾昌介绍不锈钢电热管电阻加热原理
中国人现在不那么喜欢买苹果手机了？iPhone8能否挑起大梁？
放大倍数为40的放大电路设计
碳化硅功率器件在航天电子产品中的应用领域
智能手机和平板电脑侵蚀，传统媒体设备将全面萎缩
如何将大数据技术应用于精益六西格玛？
中国联通携手中兴通讯打通全球首个5G电话
开关电源缓冲电路设计