Linux: descubra que processo está a utilizar toda a RAM?

No Linux no processo top pode premir a tecla < para deslocar o visor de saída para a esquerda. Por defeito é ordenado pelo %CPU por isso se pressionar a tecla 4 vezes irá ordená-lo pelo VIRT que é o tamanho da memória virtual dando-lhe a sua resposta.

Outra forma de o fazer é:

ps -e -o pid,vsz,comm= | sort -n -k 2

deve dar-lhe e sair ordenado pelo tamanho virtual dos processos.

Aqui está a versão longa:

ps --everyone --format=pid,vsz,comm= | sort --numeric-sort --key=2

Mostrar a memória de processos em megabytes e o caminho do processo.

ps aux | awk '{print $6/1024 " MB\t\t" $11}' | sort -n

Apenas uma nota lateral num servidor mostrando os mesmos sintomas, mas ainda mostrando exaustão de memória. O que acabou por encontrar foi um sysctl.conf a partir de uma caixa com 32 GB de RAM e configuração para um DB com páginas enormes configuradas para 12000. Esta caixa tem apenas 2 GB de RAM, pelo que estava a atribuir toda a RAM livre às enormes páginas (apenas 960 delas). Configurando páginas enormes para 10, como nenhuma foi usada, liberou toda a memória.

Uma verificação rápida de /proc/meminfo para procurar as configurações HugePages_ pode ser um bom começo para a resolução de problemas em pelo menos um porco de memória inesperado.

No meu caso a questão era que o servidor era um servidor virtual VMware com o módulo vmw_balloon activado:

$ lsmod | grep vmw_balloon
vmw_balloon 20480 0
vmw_vmci 65536 2 vmw_vsock_vmci_transport,vmw_balloon

Em execução:

$ vmware-toolbox-cmd stat balloon
5189 MB

Assim, cerca de 5 GB de memória foram de facto recuperados pelo anfitrião. Assim, apesar de ter 8 GB para o meu VM “oficialmente”, na prática foi muito menos:

$ free
              total used free shared buff/cache available
Mem: 8174716 5609592 53200 27480 2511924 2458432
Swap: 8386556 6740 8379816

Você também pode usar o comando ps para obter mais informações sobre o processo.

ps aux | less

Refiro isto e Memória total utilizada pelo processo Python? - Stack Overflow , esta é a minha resposta. Obtenho uma ferramenta específica de contagem de processos (python), agora.

# Megabyte.
$ ps aux | grep python | awk '{sum=sum+$6}; END {print sum/1024 " MB"}'
87.9492 MB

# Byte.
$ ps aux | grep python | awk '{sum=sum+$6}; END {print sum " KB"}'
90064 KB

Anexe a minha lista de processos.

$ ps aux | grep python
root 943 0.0 0.1 53252 9524 ? Ss Aug19 52:01 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
root 950 0.6 0.4 299680 34220 ? Sl Aug19 568:52 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
root 3803 0.2 0.4 315692 36576 ? S 12:43 0:54 /usr/bin/python /usr/local/bin/beaver -c /etc/beaver/beaver.conf -l /var/log/beaver.log -P /var/run/beaver.pid
jonny 23325 0.0 0.1 47460 9076 pts/0 S+ 17:40 0:00 python
jonny 24651 0.0 0.0 13076 924 pts/4 S+ 18:06 0:00 grep python

Referência

• memória - Linux: descubra que processo está a usar toda a RAM? - Super User
• memória total usada pelo processo Python? - Stack Overflow
• linux - ps aux output meaning - Super User

Faça um script chamado show-memory-usage.sh com o conteúdo:

#!/bin/sh
ps -eo rss,pid,user,command | sort -rn | head -10 | awk '{ hr[1024**2]="GB"; hr[1024]="MB";
 for (x=1024**3; x>=1024; x/=1024) {
 if ($1>=x) { printf ("%-6.2f %s ", $1/x, hr[x]); break }
 } } { printf ("%-6s %-10s ", $2, $3) }
 { for ( x=4 ; x<=NF ; x++ ) { printf ("%s ",$x) } print ("\n") }
 '

O meu servidor ubuntu DISTRIB RELEASE=18.04 no Hyper-V tinha a maior parte da memória utilizada, mas todos os processos eram bons. (Admito que removi pacotes snapd e unattended-upgr, mas 95% da memória ainda era utilizada)

A resposta é que o Hyper-V tem memória dinâmica, por isso levou memória para uso do sistema principal e o ubuntu sinalizou-o como usado.

Espero que ajude alguém.

Isto também toma o id do processo, por tipo de MB utilizado, e descreve o comando (que criou o processo):

ps aux | awk '{print $6/1024 " MB\t\t" $2 "\t" $11}' | sort -n