Gaúcho de nascimento, Nelson Gonçalves foi criado em São Paulo, no bairro italiano do Brás, para onde sua família se mudou pouco depois de ele nascer, em 1919. Na infância, ganhou dois apelidos. "Carusinho", como era chamado pelos colegas na escola. E "Metralha", por falar muito rápido devido a uma deficiência fonética semelhante à gagueira. Esse pegaria para sempre.

O pai, Manuel, era um imigrante português que tocava violão e cantava em cabarés. Levado por ele, Nelson começou a cantar em praças e feiras. Logo depois do curso primário, passou a trabalhar, tendo sido engraxate, jornaleiro, mecânico e garçom no bar de seu irmão, na avenida São João. Quis também seguir a carreira de lutador de boxe na adolescência. Ao mesmo tempo, frequentava bares de boêmios e músicos.