1.Ftrace实现原理

• 静态探测点，是在内核代码中调用ftrace提供的相应接口实现，称之为静态，是因为在内核代码中写死的，静态编译到内核代码中的，在内核编译后，就不能再动态修改。在开启ftrace相关的内核配置选项后，内核中已经在一些关键的地方设置了静态探测点，需要使用时，即可查看到相应的信息。
• 动态探测点，基本原理为：利用mcount机制，在内核编译时，在每个函数入口保留数个字节，然后在使用ftrace时，将保留的字节替换为需要的指令，比如跳转到需要的执行探测操作的代码。

1.1.Ftrace function tracer footstone: -pg

  当CONFIG_FUNCTION_TRACER打开时，编译时会增加-pg编译选项，gcc会在每个函数的入口处增加对mcount的调用。

  ftrace 支持动态trace，即可以跟踪内核和模块中任意的全局函数。它利用了gcc的-pg编译选项，在每个函数的开始增加一个stub，这样在需要的时候可以控制函数跳转到指定的代码中去执行。使用 -pg 选项会在编译得到的内核映像中加入大量的调试信息。一般情况下，只是在开发测试阶段激活 ftrace 支持，以调试内核，修复 bug 。最终用于发行版的内核则会关闭 -pg 选项，也就无法使用 ftrace。

  对于动态ftrace，有一个很重要的工作就是记录这些被-pg影响的函数，通过读文件/sys/kernel/debug/tracing/available_filter_functions来查看哪些函数是支持trace的。

    1 #include <stdio.h>
    2                                                                                                                                                                                                                                        
    3 int main()
    4 {
    
>>  5     int a = 0;
    6     return 0;
    7 }

• gcc -m32 -S -pg main.c -o main_pg.s
• gcc -m32 -S main.c -o main.s
  
    当COFNIG_DYNAMIC_FTRACE被选中后， 内核在编译代码时，先指定-pg 选项编译生成.o文件，然后通过scripts/recordmcount.pl脚本来处理.o文件，经过scripts/recordmcount.pl处理之后，.o文件中新增了一个__mcount_loc段，在最终链接时被重定向，里面记录了所有插入了mcount的函数地址。

  当用户打开 ftrace 功能时，ftrace 将这些 nop 指令动态替换为 ftrace_caller，该函数将调用用户注册的 trace 函数。其具体的实现在相应 arch 的汇编代码中，以 x86 为例，在 entry_32.s 中：

  内核代码编译：

scripts/Makefile.build：
201 ifdef CONFIG_FTRACE_MCOUNT_RECORD
202 ifndef CC_USING_RECORD_MCOUNT
203 # compiler will not generate __mcount_loc use recordmcount or recordmcount.pl
204 ifdef BUILD_C_RECORDMCOUNT
205 ifeq ("$(origin RECORDMCOUNT_WARN)", "command line")
206   RECORDMCOUNT_FLAGS = -w
207 endif
208 # Due to recursion, we must skip empty.o.
209 # The empty.o file is created in the make process in order to determine
210 # the target endianness and word size. It is made before all other C
211 # files, including recordmcount.
212 sub_cmd_record_mcount =                                 \
213         if [ $(@) != "scripts/mod/empty.o" ]; then      \
214                 $(objtree)/scripts/recordmcount $(RECORDMCOUNT_FLAGS) "$(@)";   \
215         fi;
216 recordmcount_source := $(srctree)/scripts/recordmcount.c \
217                     $(srctree)/scripts/recordmcount.h
218 else
219 sub_cmd_record_mcount = set -e ; perl $(srctree)/scripts/recordmcount.pl "$(ARCH)" \                                                                                                                                                     
220         "$(if $(CONFIG_CPU_BIG_ENDIAN),big,little)" \
221         "$(if $(CONFIG_64BIT),64,32)" \
222         "$(OBJDUMP)" "$(OBJCOPY)" "$(CC) $(KBUILD_CPPFLAGS) $(KBUILD_CFLAGS)" \
223         "$(LD) $(KBUILD_LDFLAGS)" "$(NM)" "$(RM)" "$(MV)" \
224         "$(if $(part-of-module),1,0)" "$(@)";
225 recordmcount_source := $(srctree)/scripts/recordmcount.pl
226 endif # BUILD_C_RECORDMCOUNT
227 cmd_record_mcount =                                             \
228         if [ "$(findstring $(CC_FLAGS_FTRACE),$(_c_flags))" =   \
229              "$(CC_FLAGS_FTRACE)" ]; then                       \
230                 $(sub_cmd_record_mcount)                        \
231         fi;
232 endif # CC_USING_RECORD_MCOUNT
233 endif # CONFIG_FTRACE_MCOUNT_RECORD

279 define rule_cc_o_c                                                              
280         $(call echo-cmd,checksrc) $(cmd_checksrc)                         \     
281         $(call cmd_and_fixdep,cc_o_c)                                     \
282         $(cmd_checkdoc)                                                   \
283         $(call echo-cmd,objtool) $(cmd_objtool)                           \
284         $(cmd_modversions_c)                                              \
285         $(call echo-cmd,record_mcount) $(cmd_record_mcount)                                                                                                                                                                              
286 endef

301 # Built-in and composite module parts                                           
302 $(obj)/%.o: $(src)/%.c $(recordmcount_source) $(objtool_dep) FORCE
303         $(call cmd,force_checksrc)
304         $(call if_changed_rule,cc_o_c)

include/asm-generic/vmlinux.lds.h :

112 #ifdef CONFIG_FTRACE_MCOUNT_RECORD                                                                                                                                                                                                       
113 #define MCOUNT_REC()    . = ALIGN(8);                           \
114                         __start_mcount_loc = .;                 \
115                         KEEP(*(__mcount_loc))                   \
116                         __stop_mcount_loc = .;
117 #else
118 #define MCOUNT_REC()
119 #endif

  最终内核的链接脚本include/asm-generic/vmlinux.lds.h将__mcount_loc段的内容放在.init.data段中，并且通过__start_mcount_loc和__stop_mcount_loc两个全局符号来访问。

1.2.ftrace初始化

  gcc的-pg 选项在每个函数开始处增加了一条callq指令，它和对应的retq据统计会带来13%的性能开销，因此在内核的初始化阶段将这些callq指令全部修改为5 Byte的NOP指令: 66 66 66 66 90H，同时将这些指令的地址记录下来。

  scripts/recordmcount.pl过滤了kernel/trace/ftrace.o，没有为其增加__mcount_loc段，所以ftrace代码不会修改其自身的代码。ftrace_init在start_kernel中调用，早于kernel_init，此时不会有其它Core正在执行代码，因此也不用担心修改指令导致其它Core出现crash（系统运行时修改指令就要麻烦很多：被修改的指令正在其它Core上执行，5个字节的指令有可能跨两个cache line）。由于ftrace_init执行时间较早，所以.initcall中的初始化函数都是可以被trace的（在cmdline中增加"ftrace_filter="参数来指定要trace的函数）。

  6159 void __init ftrace_init(void)   
  6160 {
                           
  6161         extern unsigned long __start_mcount_loc[];
  6162         extern unsigned long __stop_mcount_loc[];
  6163         unsigned long count, flags;
  6164         int ret;
  6165         
  6166         local_irq_save(flags);
  6167         ret = ftrace_dyn_arch_init();
  6168         local_irq_restore(flags);
  6171         
  6172         count = __stop_mcount_loc - __start_mcount_loc;
  6180 
  6181         last_ftrace_enabled = ftrace_enabled = 1;
  6182                 
  6183         ret = ftrace_process_locs(NULL,
  6184                                   __start_mcount_loc,                                                                                                                                                                                 
  6185                                   __stop_mcount_loc);
  6186 
  6187         set_ftrace_early_filters();
  6188         
  6189         return;
  6190  failed:
  6191         ftrace_disabled = 1;
  6192 }   

  在ftrace_process_locs函数中，内核为__start_mcount_loc和__stop_mcount_loc之间的每个地址都创建一个struct dyn_ftrace结构，其中ip记录着函数开始的stub地址，ftrace_code_disable函数会将这个地址的内容替换为nop指令，这样在没有trace时，系统的性能几乎没有影响。

  当用户打开 ftrace 功能时，ftrace 将这些 nop 指令动态替换为 ftrace_caller，该函数将调用用户注册的 trace 函数。其具体的实现在相应 arch 的汇编代码中，以 x86 为例，在 entry_32.s 中：

  当开始trace时，内核根据函数名找到ip，将该地址处的nop指令修改为call指令，以控制其跳转到指定的位置。

  以 MIPS 为例：arch/mips/kernel/ftrace.c

• 编译阶段
  scripts/recordmcount.{pl,c} 扫描所有 .text 中的 mcount 调用点并创建__mcount_loc 段
• 引导阶段
  调用 ftrace_process_locs 把所有 mcount 调用点替换为 nop 指令：ftrace_make_nop()
• 跟踪阶段
  调用 ftrace_run_update_code，替换回 mcount 调用点：ftrace_make_call()

代码：

• arch/mips/kernel/mcount.S

refer to

• https://www.jianshu.com/p/56a96de4e879
• http://tinylab.org/ftrace-principle-and-practice/
• https://blog.csdn.net/pwl999/article/details/80349025
• https://blog.csdn.net/pwl999/article/details/80420905