Buenas tardes, Snowevil.
También es mi primer post.
No deberías de tener ningún problema en conectar el TM1638 y 12 botones más.
Yo me inclinaría por una matrix de 4x3 para los botones y además tendrías disponibles los 8 que ya trae el propio TM1638 con lo que aún te quedarían libres pines del Arduino
Te muestro un ejemplo:
Espero sea de tu ayuda.
Salu2