Armazenamento seguro de dados do cartão e LGPD

Os dados do cartão seriam mais relacionados a endereço de cobranca, dados de cartão mesmo não são salvos, apenas o token

Ah sim, mas até tem partes do cartão que podem ser guardadas... BIN, 4 últimos dígitos, expiração.
E o problema não é LGPD, e sim as normas de segurança das bandeiras de cartões. E que são muito mais efetivas em enforçar essas normas.

O que temos em tabela seria os 4 últimos dígitos e o token, o restante seria somente dados de cobrança (endereço) e o Id do usuário

Em adição a isso você poderia guardar o nome do banco emissor ou os dígitos iniciais que caracterizam o banco emissor. Se der é legal, tipo "Cartão Nubank". Mas não carece, de fato.