A resposta Marcus Adams deu também um atalho de teclado: Ctrl* + Alt* + End. Tem de estar em ecrã inteiro e/ou ter a sessão RDP configurada para *Aplicar combinações de teclas do Windows*** no computador remoto. Isto envia efectivamente um Ctrl + Alt* + Del* para o computador remoto (por isso é útil saber também para outras ocasiões/ utilizações). A partir daí, como o Marcus disse, pode chegar a Reiniciar, Desligar, etc. a partir do pequeno ícone vermelho do botão de alimentação no canto inferior direito.
Em alternativa, pode clicar uma vez no Ambiente de Trabalho (ou na Barra de Tarefas) do computador remoto, depois carregar em Alt + F4 e obtém o pop-up à moda antiga com todas as opções de desligamento no drop down.
Update: como observado nos comentários, Ctrl* + Alt + End* no Windows 10 apenas lhe dá a opção de Desligar. A partir daí não pode Reiniciar ou Desligar. Também não consigo encontrar uma opção de Segurança do Windows no Menu Iniciar… Mas não se preocupe, como mencionado a* Alt* + F4método ainda funciona , e eu utilizo isso exclusivamente agora (eu remotamente para o trabalho todos os dias, e também gerem várias máquinas em casa).