![[PukiWiki]](image/LKDQLogo.png "Linux Kernel Driver Quest")
#author("2017-09-02T11:11:50+09:00","default:afuruta","afuruta") #author("2017-09-15T17:01:16+09:00","default:afuruta","afuruta") &ogproject(linux-4.1.27); #textbox(context,&ogproject(linux-4.1.27); このページは &ogproject(); について書いたものです。); * param_set_charp の排他制御は大丈夫？ [#ha1ef2b3] &ogdefs(param_set_charp(),param_set_charp);から呼び出している &ogdefs(maybe_kfree_parameter(),maybe_kfree_parameter); と &ogdefs(kmalloc_parameter(),kmalloc_parameter); の中でリスト操作をしています。リスト操作は &ogdefs(list_add(),list_add,include/linux/list.h);, &ogdefs(list_del(),list_del,include/linux/list.h);, &ogdefs(list_for_each_entry(),list_for_each_entry,include/linux/list.h); です。これらは基本的な双方向リンク・チェインの操作です。Userland から write() system call は平行して使うことができます。何処かで排他制御をして、リンク・リスト操作を一貫して行う必要が有ります。排他制御がされているのか追ってみましょう。 &ogdefs(param_set_charp(),param_set_charp);から呼び出している &ogdefs(maybe_kfree_parameter(),maybe_kfree_parameter); と &ogdefs(kmalloc_parameter(),kmalloc_parameter); の中でリスト操作をしています。リスト操作は &ogdefs(list_add(),list_add,include/linux/list.h);, &ogdefs(list_del(),list_del,include/linux/list.h);, &ogdefs(list_for_each_entry(),list_for_each_entry,include/linux/list.h); です。これらは基本的な双方向リンク・チェインの操作です。User Space の複数の process または thread から write() system call は平行して使うことができます。何処かで排他制御をして、リンク・リスト操作を一貫して行う必要が有ります。排他制御がされているのか追ってみましょう。 #code(c,/static\s*void\s*maybe_kfree_parameter/../^}$/,ogfileone:/kernel/params.c); #code(c,/void\s*[*]\s*kmalloc_parameter/../^}$/,ogfileone:/kernel/params.c); ** dump_stack() を使って追跡する [#f2884ee0] &ogdefs(dump_stack(),dump_stack,dump_stack.c); を使って追跡することにします。&ogdefs(param_set_charp(),param_set_charp); が呼ばれるまでの Call 経路は構造体に格納された関数を指すポインタを使って決まっています。追跡難度か高いです。&ogfile(kernel/params.c); を次のように修正します(&ref(params.c,,修正済みファイル);)。Kernel を make、インストールして様子を探ることにします。 #code(diff,soft){{ diff --git a/kernel/params.c b/kernel/params.c index a22d6a75..9a1fe5a 100644 --- a/kernel/params.c +++ b/kernel/params.c @@ -285,6 +285,7 @@ int param_set_charp(const char *val, const struct kernel_param *kp) if (!*(char **)kp->arg) return -ENOMEM; strcpy(*(char **)kp->arg, val); + dump_stack(); } else *(const char **)kp->arg = val; }} #textbox(caution,dump_stack()を通過する頻度に注意){{ ここでは &ogdefs(dump_stack(),dump_stack,dump_stack.c); を無条件に呼ぶように実装しました。通過頻度が少ないと見込んだためです。高頻度に通過する場合、過剰なログ出力で Linux が起動するまでに数分以上の長時間を要したり、起動したとして応答が悪くコマンド投入が困難な状況になります。予め高頻度に通過する場所だと予想されるならば、&ogdefs(dump_stack(),dump_stack,dump_stack.c); を条件付きで呼び出すように組み込んで下さい。 }} [[module_param を実装した hello_world モジュール>HelloYou]]を使い call trace を得ます。 #pre(soft){{ &span(ConsoleOut){[ 212.911142] hello_world: module verification failed: signature and/or required key missing - tainting kernel}; &span(ConsoleOut){[ 212.913390] hello_world_init: Hello Taro san. return_value=0}; &span(ConsoleOut){[ 241.250795] CPU: 0 PID: 2252 Comm: bash Tainted: G OE 4.1.27-local+ #3}; &span(ConsoleOut){[ 241.250819] Hardware name: innotek GmbH VirtualBox/VirtualBox, BIOS VirtualBox 12/01/2006}; &span(ConsoleOut){[ 241.250834] 0000000000000000 ffff88007bac3d58 ffffffff817d0d29 ffffffffc025a0d8}; &span(ConsoleOut){[ 241.250852] ffff88007b781988 ffff88007bac3d88 ffffffff8109943b ffff88007bac3d88}; &span(ConsoleOut){[ 241.250867] ffff88005cd62ea8 0000000000000006 ffff88007b781988 ffff88007bac3db8}; &span(ConsoleOut){[ 241.250881] Call Trace:}; &span(ConsoleOut){[ 241.250915] [<ffffffff817d0d29>] dump_stack+0x63/0x81}; &span(ConsoleOut){[ 241.250939] [<ffffffff8109943b>] param_set_charp+0xdb/0xf0}; &span(ConsoleOut){[ 241.250957] [<ffffffff8109988d>] param_attr_store+0x4d/0xb0}; &span(ConsoleOut){[ 241.251015] [<ffffffff81275072>] ? kernfs_fop_write+0xf2/0x180}; &span(ConsoleOut){[ 241.251033] [<ffffffff81098cad>] module_attr_store+0x1d/0x30}; &span(ConsoleOut){[ 241.251047] [<ffffffff81275bfd>] sysfs_kf_write+0x3d/0x50}; &span(ConsoleOut){[ 241.251063] [<ffffffff812750aa>] kernfs_fop_write+0x12a/0x180}; &span(ConsoleOut){[ 241.251082] [<ffffffff811fa198>] __vfs_write+0x28/0xf0}; &span(ConsoleOut){[ 241.251099] [<ffffffff811fcda9>] ? __sb_start_write+0x49/0xf0}; &span(ConsoleOut){[ 241.251118] [<ffffffff81320373>] ? security_file_permission+0x23/0xa0}; &span(ConsoleOut){[ 241.251133] [<ffffffff811fa889>] vfs_write+0xa9/0x1b0}; &span(ConsoleOut){[ 241.251148] [<ffffffff811fb656>] SyS_write+0x46/0xb0}; &span(ConsoleOut){[ 241.251166] [<ffffffff81068080>] ? do_page_fault+0x30/0x80}; &span(ConsoleOut){[ 241.251227] [<ffffffff817d8b72>] system_call_fastpath+0x16/0x75}; }} &ogdefs(vfs_write(),vfs_write); が Linux Kernel の仮想ファイルシステム(VFS) レイヤです。&ogdefs(vfs_write(),vfs_write); の中では write() システムコールを平行して扱えます。呼ばれた順に関数を並べると &ogdefs(__vfs_write(),__vfs_write);, &ogdefs(kernfs_fop_write(),kernfs_fop_write);, &ogdefs(sysfs_kf_write(),sysfs_kf_write);, &ogdefs(module_attr_store(),module_attr_store);, &ogdefs(param_attr_store(),param_attr_store);, &ogdefs(param_set_charp(),param_set_charp); となります。 これらの中から効果がある排他制御を探します。 ** グローバルな mutex param_lock [#y974542c] &ogdefs(param_set_charp(),param_set_charp); から逆にたどって排他制御を探します。方針として、だんだんと粒度が大きくなる方向に辿ります。&ogdefs(param_attr_store(),param_attr_store); で &ogdefs(DEFINE_MUTEX(),DEFINE_MUTEX); で宣言されたグローバルな &ogrefs(param_lock); という mutex を使って排他制御 &ogdefs(mutex_lock(),mutex_lock,mutex.c);, &ogdefs(mutex_unlock(),mutex_unlock,mutex.c); しているいるのが見つかりました。リスト操作が平行処理(あるいは複数プロセッサの並列処理)で乱されないと確認できます。 #code(c,/static\s*DEFINE_MUTEX.*param_lock/../^};$/,ogfileone:/kernel/params.c); #code(c,/ssize_t\s*param_attr_store/../^}$/,ogfileone:/kernel/params.c); ** Kernel 4.2.x では排他制御の実装が変わっている [#z2d84ba8] Kernel 4.2.x の [[maybe_kfree_parameter()>http://lxr.free-electrons.com/ident?v=4.2&i=maybe_kfree_parameter]]の実装を見てみると &ogdefs(spin_lock(),spin_lock,spinlock.h);, &ogdefs(spin_unlock(),spin_unlock,spinlock.h); を直前・直後に使用した実装に変わっています。Linux Kernel の実装は常に大きく変わっている例の一つと言えます。 &ogproject(-); #textbox(context, &ogproject(-););
