No Microsoft Office 365 Pro no Windows 10, encontrei duas formas diferentes de o fazer, dependendo do que achar mais fácil.
A primeira é seleccionar todo o texto na célula e editar o espaço antes e depois para cima e para baixo no separador Layout (ver imagem do ecrã), e ajustar os cadernos nas réguas como indicado acima para esquerda e direita.
A segunda opção é mover o rato para a esquerda da mesa até o ponteiro do rato rodar para uma seta virada para a direita e depois clicar uma vez para seleccionar a mesa inteira. O menu Ferramentas de Mesa torna-se disponível. Clique no separador Layout azul escuro sob Ferramentas de Mesa (não no separador Layout azul médio mais claro para o documento geral) e depois clique em Margens de Células. Assim que a janela de Margens de Células aparecer (ver imagem do ecrã) pode então editar a parte superior, inferior, esquerda e direita.