Aaaah certo! Você precisa utilizar estes comandos para gerar as chaves separadas:
openssl pkcs12 -in path.p12 -out newfile.crt.pem -clcerts -nokeys //certificado
openssl pkcs12 -in path.p12 -out newfile.key.pem -nocerts -nodes //chave privada
Onde path.p12 é o seu certificado em formato p.12