A maioria das placas de som modernas podem suportar nativamente as frequências de amostragem mais comuns (as que menciona) sem perda de qualidade. E como o utilizador55325 afirma, qualquer coisa acima de 44,1 kHz não é realmente necessária para o ouvido humano (normal). A maior parte da perda de qualidade experimentada com áudio digital começa após a conversão do som digital para analógico, e depende dos filtros utilizados (uma boa conversão digital -> analógica necessita de um filtro para remover os efeitos de digitalização de alta frequência), do amplificador, e mais importante dos altifalantes (ou auscultadores ou …)
Outra coisa que irá influenciar a qualidade é: Se utilizar compressão neste ficheiros de áudio (MP3, WMA, Flac …), então na maioria das vezes (excepto quando utiliza um formato de compressão sem perdas) esta compressão irá influenciar mais a qualidade do que a frequência de amostragem escolhida.
Se não utilizar qualquer forma de compressão (ou utilizar compressão sem perdas) eu manteria os ficheiros no formato em que os obtive, porque qualquer manipulação na frequência de amostragem causará uma pequena degradação na qualidade (mais perceptível quando a amostragem é descendente = de uma frequência mais alta para uma mais baixa; e a amostragem ascendente não lhe trará quaisquer benefícios - não poderá melhorar a qualidade do som acima da qualidade do original). A amostragem em cima dá também a desvantagem de ficheiros maiores, pelo que será necessário mais espaço em disco para guardar os mesmos ficheiros.
Sobre os ficheiros de 96kHz: estes podem perfeitamente ser utilizados para processamento posterior, este é (um dos) formato(s) que os estúdios utilizam quando fazem uma gravação (a maioria das multi-pistas) e depois combinam tudo isto para o colocar num CD (a 44,1 kHz) ou num filme (48 kHz). Quando os têm neste formato, eu mantê-los-ia assim, excepto quando precisam do espaço em disco, mas nunca o utilizaria como formato para todos os meus ficheiros.