Linux内核学习与问题定位，这个工具一定要掌握
在Linux操作系统上有一个非常有用的工具，无论是进行深层次的问题定位，还是进行Linux内核代码的学习，使用该工具都能达到事半功倍的效果。今天我们就介绍一下这个工具及其用法。
今天，我们主要介绍如下几部分的内容：
什么是ftrace
ftrace的基本用法
ftrace的实现原理概述
什么是 ftrace
我们可以将ftrace理解为Function tracer的简称，可以看出其基本功能是实现函数调用的跟踪。其实ftrace不仅仅用于进行函数调用的跟踪，其它很多内核信息都可以通过该工具进行跟踪。
除了上面函数调用跟踪外，ftrace 还能帮我们分析内核特定的事件，比如调度，中断等;它还能帮我们去追踪延迟，比如中断被屏蔽，抢占被禁止的时间，以及唤醒一个进程之后多久开始执行的时间等等。
因此可以理解，ftrace其实为我们提供了一个透视内核的工具，这就像医院的CT机或者核磁共振一样，通过该工具我们可以了解内核内部的更多细节。下面我们罗列出该工具的主要功能，大家可以作为参考：
Function tracer 和 Function graph tracer: 跟踪函数调用。
Schedule switch tracer: 跟踪进程调度情况。
Preemptoff tracer：和前一个 tracer 类似，preemptoff tracer 跟踪并记录禁止内核抢占的函数，并清晰地显示出禁止抢占时间最长的内核函数。
Preemptirqsoff tracer: 同上，跟踪和记录禁止中断或者禁止抢占的内核函数，以及禁止时间最长的函数。
Branch tracer: 跟踪内核程序中的 likely/unlikely 分支预测命中率情况。 Branch tracer 能够记录这些分支语句有多少次预测成功。从而为优化程序提供线索。
Hardware branch tracer：利用处理器的分支跟踪能力，实现硬件级别的指令跳转记录。在 x86 上，主要利用了 BTS 这个特性。
Sysprof tracer：缺省情况下，sysprof tracer 每隔 1 msec 对内核进行一次采样，记录函数调用和堆栈信息。
Kernel memory tracer: 内存 tracer 主要用来跟踪 slab allocator 的分配情况。包括 kfree，kmem_cache_alloc 等 API 的调用情况，用户程序可以根据 tracer 收集到的信息分析内部碎片情况，找出内存分配最频繁的代码片断，等等。
Initcall tracer：记录系统在 boot 阶段所调用的 init call 。
Mmiotrace tracer：记录 memory map IO 的相关信息。
Power tracer：记录系统电源管理相关的信息。
Workqueue statistical tracer：这是一个 statistic tracer，统计系统中所有的 workqueue 的工作情况，比如有多少个 work 被插入 workqueue，多少个已经被执行等。开发人员可以以此来决定具体的 workqueue 实现，比如是使用 single threaded workqueue 还是 per cpu workqueue.
Event tracer: 跟踪系统事件，比如 timer，系统调用，中断等。
Wakeup tracer：跟踪进程的调度延迟，即高优先级进程从进入 ready 状态到获得 CPU 的延迟时间。该 tracer 只针对实时进程。
Irqsoff tracer：当中断被禁止时，系统无法相应外部事件，比如键盘和鼠标，时钟也无法产生 tick 中断。这意味着系统响应延迟，irqsoff 这个 tracer 能够跟踪并记录内核中哪些函数禁止了中断，对于其中中断禁止时间最长的，irqsoff 将在 log 文件的第一行标示出来，从而使开发人员可以迅速定位造成响应延迟的罪魁祸首。
ftrace的基本用法
ftrace的基本用法其实是比较简单的。以Ubuntu18.04为例，我们只需要在current_tracer文件中输入function字符串即可。具体操作步骤如下：
cd /sys/kernel/debug/tracing
echo function > current_tracer
当执行上述命令后，我们用vim命令打开该目录下面一个名为trace的文件，此时就可以函数调用情况。
如果查看该文件，可能会发现有几万个函数调用，估计看着就头大。其实它的功能要强大的多，比如我们通过function_graph实现调用栈的层级关系，此时可以更加方便的理清函数调用关系。同时，我们还可实现函数名称的过滤，比如只抓取某些，或者不抓取某些函数等等。
有些版本的操作系统可能不能直接使用该功能，这就需要进行一些配置。关于这些配置，本文暂不介绍，后续专门进行相关介绍。
ftrace的实现原理概述
ftrace最早用于跟踪函数调用，后来随着需求的增加，ftrace演变为一个框架。也就是我们前面介绍的对内核各种探测的功能。
整个ftrace的架构如图所示，其整体分为两层，核心部分是内核框架和一些捕获信息的插件，其中函数调用就是其中一个插件;另外一部分则是用户态的一些辅助工具集。
可以看出，在内核中核心的是ftrace框架，具体功能组件是各种插件，也就是tracers。如果需要跟踪具体的内容，则该tracer需要注册到框架当中。tracer捕获的信息会输出到一个环形缓冲区中。整个框架中需要用到另外一个内核模块，也就是debugfs模块。该模块实现了用户态与内核的交互。