RAS(二)Intel MCA初探

谈到当前业界使用最广泛、最好的ras商用解决方案,那么必定是intel公司。从广泛上来说,大部分公司使用的x86服务器,首选intel;从ras能力来说,intel cpu的mca架构,从故障检测、故障上报、故障恢复等层面功能都非常完善。所以笔者认为,想要学习linux ras,那么intel cpu手册中machine-check architecture章节和对应的linux arch/x86/kernel/cpu/mce目录相关代码将是非常好的入门学习资料。
mca介绍
mca(machine check architecture)是intel xeon,intel atom和p6 family系列processors支持的硬件错误检测、上报机制,硬件错误包括system bus errors,ecc errors,parity errors,cache errors and tlb errors。
从硬件层面看,mca通过一些msr(model specific register)来实现检测、记录错误信息等功能。它包含了一组global control msrs和多组error-reporting bank registers(each hardware unit)记录和上报硬件错误。如下图:
关于这一点,很多人开始都不太理解,也被问过多次。通过下面图可以很清楚的理解:
intel把各个processor内硬件以bank为单位分组,每个bank涉及多个硬件,共用一组error-reporting register。这个划分并不是随便的、杂乱的,反而是非常规整的。
mca故障分类
intel将hardware error分类以及行为如下:
•ce(corrected error):指硬件自行恢复的故障,通常也会通知软件,软件读取status寄存器记录故障信息;
•fata error:指严重的硬件错误,比如processor 电源故障,memory control严重故障等。此类故障发生后,intel芯片会直接挂起所有cpu,服务器挂死,不会通知到os;
•uce(uncorrected error):硬件无法自行恢复的故障。在intel mca架构下,此类错误是mci_status寄存器pcc bit为1,表示processor可能已经被故障损坏,同时重启processor也不可靠。软件会根据此信息主动panic;
•ucr(uncorrected recoverable) error:硬件无法自行恢复,但软件可以采取某些行为修复的错误;
至于ucna、srao、srar在讲mca recovery机制时再细讲。
当然上述分类并不是绝对的,只能算是最全面的分类。比如intel将pcie device的ras故障只分为uce和ce,这是因为pcie连接外设一般是非核心硬件,比如usb、磁盘、网卡等。这些组件发生uce后,都会通知到os尝试修复。
machine-check global control寄存器组
machine-check global control msrs是一组全局寄存器,用于machine-check的配置、状态显示等,包括ia32_mcg_cap/ia32_mcg_status/ia32_mcg_ctl/ia32
_mcg_ext_ctl寄存器。 ia32_mcg_cap msr
ia32_mcg_cap msr是只读寄存器,表示当前processor拥有的mca的能力。
count field, bits 7:0:表示某processor支持hardware unit error-reporting banks的数量;
mcg_ctl_p (control msr present) flag, bit 8:mcg_ctl msr有效位;
mcg_ext_p (extended msrs present) flag, bit 9:mcg_ext_ctl有效位;
mcg_cmci_p (corrected mc error counting/signaling extension present) flag, bit 10:表示当发生一个ce或ce个数超过阈值后,是否通过cmci中断通知错误;
mcg_tes_p (threshold-based error status present) flag, bit 11:当set时,表示ia32_mci_status msr的54:53用来上报threshold-based error状态;
mcg_ext_cnt, bits 23:16:表示extended machine-check state registers个数,仅当mcg_ext_p set时有效;
mcg_ser_p (software error recovery support present) flag, bit 24:当set时,表示processor支持software error recovery,同时ia32_mci_status msr的56:55位提供uncorrected recoverable errors信息,以及判断软件是否需要task recovery actions来进行恢复。ia32_mci_status msr的56:55位是ar和s位,可以对uer进行分类;
mcg_emc_p (enhanced machine check capability) flag, bit 25:当set时,表示processor支持mca增强特性;
mcg_elog_p (extended error logging) flag, bit 26:当set时,processor允许firmware接收硬件错误并将bank寄存器信息记录在acpi的“generic error data entry”。这样mca就可以改为firmware first并兼容apei上报方式。
mcg_lmce_p (local machine check exception) flag, bit 27:是否支持local machine check exception (lmce)。当set后,ia32_mcg_status 的lmce_s位有效;
linux内核中使用举例(v6.3,arch/x86/kernel/cpu/mce/core.c)
c++
/*
 * initialize machine checks for a cpu.
 */
static void __mcheck_cpu_cap_init(void)
{
        u64 cap;
        u8 b;
rdmsrl(msr_ia32_mcg_cap, cap);
b = cap & mcg_bankcnt_mask;
if (b > max_nr_banks) {
                pr_warn(cpu%d: using only %u machine check banks out of %u ,
                        smp_processor_id(), max_nr_banks, b);
                b = max_nr_banks;
        }

这段cap init代码即开始读取mcg_cap寄存器的count field, bits 7:0,获取banks数量,mcg_bankcnt_mask定义在mce.h
#define mcg_bankcnt_mask 0xff         /* number of banks */
ia32_mcg_status msr
ia32_mcg_status msr描述的是machine-check exception发生后的当前processor状态。
ripv (restart ip valid) flag, bit 0:当set时,表示machine-check exception发生后程序是否还可以从异常打断后的指令处重新可靠的执行;当clear时,表示程序无法可靠地从instruction pointer处重新执行;
eipv (error ip valid) flag, bit 1:当set时,表示machine-check exception和当前instruction pointed有直接关联。当clear时,表示instruction pointed与错误无关;
mcip (machine check in progress) flag, bit 2:当set时,表示当前machine-check exception正在处理中。软件可以设置或清除此标志位。
lmce_s (local machine check exception signaled), bit 3:当set时,表示当前的machine-check event被当前processor捕获和处理。这个bit很有意思,intel以前的cpu,machine-check event可以上报到其他processor,当前处理的processor需要遍历所有banks来找到真正的machine-check even。这个机制对于同步mce来说非常不友好,后面icelake或arm64,都是自动报到local cpu,省去了很多不必要的麻烦,代码也更简洁。
linux内核中使用举例(v6.3,arch/x86/kernel/cpu/mce/core.c)
c++
noinstr void do_machine_check(struct pt_regs *regs)
{
        int worst = 0, order, no_way_out, kill_current_task, lmce, taint = 0;
        declare_bitmap(valid_banks, max_nr_banks) = { 0 };
        declare_bitmap(toclear, max_nr_banks) = { 0 };

        /*
         * mces are always local on amd. same is determined by mcg_status_lmces
         * on intel.
         */
        lmce = 1;

        /*
         * check if this mce is signaled to only this logical processor,
         * on intel, zhaoxin only.
         */
        if (m.cpuvendor == x86_vendor_intel ||
            m.cpuvendor == x86_vendor_zhaoxin)
                lmce = m.mcgstatus & mcg_status_lmces;
/*
         * local machine check may already know that we have to panic.
         * broadcast machine check begins rendezvous in mce_start()
         * go through all banks in exclusion of the other cpus. this way we
         * don't report duplicated events on shared banks because the first one
         * to see it will clear it.
         */
        if (lmce) {
                if (no_way_out)
                        mce_panic(fatal local machine check, &m, msg);
        } else {
                order = mce_start(&no_way_out);
        }

这里代码在发生uce后mce的处理函数do_machine_check()中,通过mcg_status_lmces确定故障是否是local machine check。
ia32_mcg_ctl msr
控制machine-check exceptions的上报,写1使能machine-check特性。
ia32_mcg_ext_ctl msr
lmce_en (local machine check exception enable) flag, bit 0:lmce功能的使能位。
error-reporting register banks寄存器组
每个error-reporting register bank包括ia32_mci_ctl, ia32_mci_status, ia32_mci_addr, and ia32_mci_misc msrs。
ia32_mci_ctl msrs
ia32_mci_ctl控制每个bank发生硬件错误时产生的#mc信号。
ia32_mci_status msrs
每个ia32_mci_status msr包含了machine-check error的信息。这个寄存器是比较重要的,包含了硬件错误的故障类型信息等,linux主要通过这个寄存器对故障进行分类并采取相应的action。
mca (machine-check architecture) error code field, bits 15:0:mca架构定义的error code,内部包含了详细的错误信息,比如错误发生硬件、触发原因等。下面会单独将mca error codes;
model-specific error code field, bits 31:16:mca架构定义的model-specific error code;
reserved, error status, and other information fields, bits 56:32: error status和other information区域。这些bit包含了更多错误信息,比如uce的错误类型等等。
pcc (processor context corrupt) flag, bit 57:当set时,表示processor可能已经被故障损坏,同时重启processor也不可靠。当clear时,表示错误并未影响到processor状态,并且软件可以采取recovery actions隔离、恢复故障;
addrv (ia32_mci_addr register valid) flag, bit 58:addr有效位,当set时,ia32_mci_addr包含了错误发生的物理地址。这个寄存器仅当memory、cache data、tlb data发生错误时才会写入物理地址;
miscv (ia32_mci_misc register valid) flag, bit 59:当set时,表示ia32_mci_misc寄存器内包含了附加的错误信息。当clear时,不要读取ia32_mci_misc寄存器信息;
en (error enabled) flag, bit 60:对应ia32_mci_ctl register使能位;
uc (error uncorrected) flag, bit 61:当set时,表示processor硬件无法恢复这个硬件故障。即uce;当clear时,表示processor可以纠正这次错误,即ce;
over (machine check overflow) flag, bit 62:当set时,表示前一次错误还在上报、处理过程中时又发生了硬件错误,即多次machine error同时发生;
val (ia32_mci_status register valid) flag, bit 63:ia32_mci_status寄存器信息是否有效;
linux内核中使用举例(v6.3,arch/x86/kernel/cpu/mce/severity.c)
c++
static struct severity {
        u64 mask;
        u64 result;
        …
} severities[] = {

        mcesev(
                keep, corrected error,
                noser, bitclr(mci_status_uc)
                ),
        /*
         * known ao mcacods reported via mce or cmc:
         *
         * srao could be signaled either via a machine check exception or
         * cmci with the corresponding bit s 1 or 0. so we don't need to
         * check bit s for srao.
         */
        mcesev(
                ao, action optional: memory scrubbing error,
                ser, mask(mci_uc_ar|mcacod_scrubmsk, mci_status_uc|mcacod_scrub)
                ),
        mcesev(
                ao, action optional: last level cache writeback error,
                ser, mask(mci_uc_ar|mcacod, mci_status_uc|mcacod_l3wb)
                ),

intel服务器在mce_severity_intel()函数中
•通过mci_status_uc=0确定发生ce类型故障;
•通过mci_status_uc=1,mci_uc_ar=1确定发生ao类型故障;
ia32_mci_addr msrs
当ia32_mci_status的addrv位设置后,ia32_mci_addr msr表示硬件故障的code或data地址信息:the address returned is an offset into a segment, linear address, or physical address. this depends on the error encountered.
linux内核中使用举例(v6.3,arch/x86/kernel/cpu/mce/core.c)
c++
/*
 * read addr and misc registers.
 */
static noinstr void mce_read_aux(struct mce *m, int i)
{
        if (m->status & mci_status_miscv)
                m->misc = mce_rdmsrl(mca_msr_reg(i, mca_misc));
if (m->status & mci_status_addrv) {
                m->addr = mce_rdmsrl(mca_msr_reg(i, mca_addr));
/*
                 * mask the reported address by the reported granularity.
                 */
                if (mca_cfg.ser && (m->status & mci_status_miscv)) {
                        u8 shift = mci_misc_addr_lsb(m->misc);
                        m->addr >>= shift;
                        m->addr <<= shift;
                }
smca_extract_err_addr(m);
        }
mce驱动代码中,通过mce_rdmsrl(mca_msr_reg(i, mca_addr))函数读取mca_addr计算内存故障的物理地址。
ia32_mci_misc msrs
如果ia32_mci_status寄存器的miscv标志位set时,ia32_mci_misc msr包含了附加的machine-check error信息。
recoverable address lsb (bits 5最低地址有效位。比如ia32_mci_misc是01001b,十进制是9,那么故障地址的bits [8:0]需要忽略。
address mode (bits 8 ia32_mci_addr的地址模式,如下图
model specific information (bits 63 not architecturally defined.
ia32_mci_ctl2 msrs
ia32_mci_ctl2 msr描述了进程使用ce的通知能力。
corrected error count threshold, bits 14:0:软件必须初始化这个区域。描述cmci(corrected machine-check error interrupt)触发的ce阈值,即corrected error数量达到阈值会触发cmci信号;
cmci_en (corrected error interrupt enable/disable/indicator), bits 30:cmci使能位
本篇主要对intel mca机制、global control msr/error-reporting register bank进行介绍。了解上述2组寄存器,对mca硬件有个大概的了解,后续会结合内核介绍mca的增强功能。
参考文档:《intel 64 and ia-32 architectures software developer’s manual 》

科技巨头跨界造车哪家强?
有种SPD叫RUILON
vlookup使用后怎么让数值固定
劳动力管理厂商Kronos签约艾默生过程控制
继三星Note7爆炸后,惠普也因电池存在安全隐患,召回全球部分笔记本电脑
RAS(二)Intel MCA初探
经纬仪的使用方法和步骤 经纬仪的用途有哪些
NVIDIA公布未来绘图芯片的发展路线图 7纳米制程芯片将由台积电代工
PCIM Asia 2022将重返上海举办
车企的共享出行模板:柏林体验宝马DriveNow感受详解
中国电信打造的首个数字政府使能平台将具有四大能力
闪电接口的未来或将是Type-C
节约电池有妙招
爱立信公布2023年第二季度财报:符合预期,企业业务增长强劲
遇见未来,九舞数字助力中交未来城城市会客厅完美开放
串激电动机的结构
NAT转换网关(网段隔离器)在数据采集物联网系统中有什么作用
实体书销量增长:纸张复活,Kindle将死?
这款波纹灯设计来源于灵魂
ERS electronic推出全新一代WAT330