Entendi. Primeiro, tente usar o comando openssl para adicionar uma senha ao seu certificado .p12:
bash
openssl pkcs12 -in certificado.p12 -out certificado_com_senha.p12 -export -password pass:NovaSenha
Depois, tente fazer essa conversão para .jksopenssl pkcs12 -in certificado.p12 -out certificado_com_senha.p12 -export -password pass:NovaSenha