linux-imx の場合、copy_defconfig というタスクが追加されており、fragment.cfg を使用してdefconfig を変更しても
その後上書きされてしまっています。
以下の手順で、copy_defconfig で使用するファイルに差分を追記することで、変更が反映されるようになります。

1. copy_defconfig タスクでどのファイルがコピー元してい使用されているのか確認する
vi tmp/work/imx8mmevk-poky-linux/linux-imx/5.4-r0/temp/run.do_copy_defconfig
　（今回はarch/arm64/configs/imx_v8_defconfig　でした）

2. menuconfig / diffconfig を実行して差分ファイルを作成する
bitbake linux-imx -c menuconfig
bitbake linux-imx -c diffconfig

3. devtool modify を起動して、ソースの編集をおこなう
devtool modify linux-imx

4. copy_defconfig の書き込み元ファイルにfragment.cfg を追記する
cat tmp/work/imx8mmevk-poky-linux/linux-imx/5.4-r0/fragment.cfg >> \
workspace/sources/linux-imx/arch/arm64/configs/imx_v8_defconfig

5. 更新ファイルを確認
　　cd workspace/sources/linux-imx/
git status

6. 変更内容をインデックスに追加する
git add arch/arm64/configs/imx_v8_defconfig

7. 変更内容をコミットする
git commit -m "変更理由"

8. bbappend を保存するレイヤーを指定して、devtool finish を実行する
　　devtool finish --force linux-imx 保存先レイヤーのPATH

以上の手順で、copy_defconfig のコピー元となるファイルへのパッチが生成され
変更が反映されたカーネルが生成されることを確認しております。