結論

Windowsネイティブの場合(コマンドプロンプト)

コマンドプロンプトだから多分動かないけど、やりたいことはこれ。

git config --global gpg.program $(where gpg)

だいたいの場合、.gitconfigはこうなる。

[gpg]
  program = C:\\Program Files (x86)\\GnuPG\\bin\\gpg.exe

WSL2 Ubuntu18.04の場合

gnupg2を使用するときはGPG_TTYの環境変数を指定する必要があるみたい。
これを.zshrcに追加する。

export GPG_TTY=$(tty)

一応これで、コミットに署名ができるようになった。