背景
通过性能监控发现上线服务器cpu某核占用率已经达到了100%,而且是由我们的某个核心服务导致的。幸亏由于我们的服务进程由多个相同worker(线程)调度承担的,所以除了cpu占用率高之外,并没有对服务造成影响。随着上次我们找到那个吃io的罪犯,这次我们要追捕的是潜伏在团体中的特务,更加惊险刺激哟!
系统环境
用top命令很容易定位到是谁占用cpu最高。
以我们的这个业务进程(imdevserver)举例,为什么说这货是个潜伏者呢?因为这是个多线程的进程,我们要知道实际上占用cpu的最小单位是线程,所以肯定是众线程中的某一个或几个占用cpu过高导致的。再用top -h -p pid命令查看进程内各个线程占用的cpu百分比。
如上图所示我们可以看出id为8863的线程cpu占用率最高。好,我们现在只要能找到他偷走的cpu就好了,虽然这小子嘴巴严,但是我们有一套完善的审问流程,不怕他不招。首先出马的是strace -t -r -c -p pid命令
它的作用是查看系统调用和花费的时间,epoll_wait虽然占用的调用时间多,但是他本身是个正常的阻塞调用。我们接着让pstack pid出马
可以看到每个线程的调用堆栈,找到已经找出的占用cpu最高的那个线程,然后看他的调用堆栈,很容易看出在哪一步逻辑上导致了busy loop,再使用trace -p tid看看线程的调用过程接着定位到代码,修复bug,找回被偷走的cpu。
电工基础之单相交流电路
芯生态 | 拓展应用生态建设 近期适配亮点产品速览
来自太空的支持:初创公司密切关注全球天然气管道泄漏情况
硬件工程师对未来发展感到迷茫?不如看看这篇文章
非隔离型DC-DC变换器的布线注意事项
服务器CPU占用率高的定位分析
电动车电瓶数码修复器
华为胡厚崑:变革在即,2020年视频市场规模将达7000亿美元
光纤熔接机的基本工作原理与分类
IEC61439电气标准:低压成套开关设备和控制设备试验方法
【直播预告】HarmonyOS极客松赋能直播第四期:HarmonyOS开发经验分享
Interfacing to the Fractional
基于制冷剂注入热泵的高效集成热管理系统
“5G+新基建” ELEXCON航母大展9月空港
高速同步MOSFET驱动器LTC4449的性能特点及适用范围
广和通推出全球首款Cat.1区块链模组,实践物联网+区块链融合创新
高可靠性DC/DC控制器LT3724的性能特点及应用范围
数据清洗的步骤是什么
东风雪铁龙第三代C5北京上市,配置如何?售价又为多少呢?
如何为物联网项目选择合适的微控制器