Para controlar acesso SSH por usuários e grupos deve-se incluir as linhas abaixo ao fim do arquivo /etc/ssh/sshd_config.
vim /etc/ssh/sshd_config
DenyUsers fulano sicrano beltrano
DenyGroups ftp
service ssh restart
A linha DenyGroups é para definição de grupos e DenyUsers para os usuários.
Fonte: https://rodrigoavila.dev/2014/05/21/ssh-como-bloquear-o-login-de-um-usuario/