Para realizar esto tenemos que configurar las claves SSH.

Os dejo este completo tutorial para configurarlo:

https://www.digitalocean.com/community/tutorials/how-to-set-up-ssh-keys–2

Además podemos configurar alias para conectarnos a nuestros servidores SSH de forma más rápida y cómoda. En el enlace veremos que hay dos métodos, uno propio de SSH y otro mediante alias del sistema:

https://scotch.io/tutorials/how-to-create-an-ssh-shortcut