Von 1928 bis 1938 arbeitete Erhardt in Riga in der Kunst- und Musikalienhandlung seines Großvaters Paul Neldner und trat erstmals in Kaffeehäusern mit selbstkomponierten und komischen, häufig aus dem Stegreif herrührenden Texten, Liedern, Witzen, gestenreich untermalten Einfällen und Gedichten auf. 1937 trug er eigene Lieder in den Programmen der Reichssender Königsberg und Danzig vor. 1938 holte ihn Willi Schaeffers nach Berlin an das Kabarett der Komiker.
Nach dem Krieg ließ sich Erhardt mit seiner Familie in Hamburg nieder. Er arbeitete als Radiomoderator beim NWDR.
Seine Theaterpremiere hatte er 1946 in Hamburg mit dem Stück Frauen haben das gerne. Große Erfolge feierte er ab 1957 im Kino als Hauptfigur in Filmkomödien.
In vielen seiner Filmrollen spielt er eine Art netten, aber etwas verwirrten und schüchternen Familienvater oder Onkel, der gerne Unsinn erzählt. Gleichzeitig versuchte er meist, den typischen Deutschen aus der Zeit des Wirtschaftswunders darzustellen.
Der Komiker Erhardt agierte gänzlich unpolitisch. Systematisch hielt er sich aus allen politischen Bereichen zurück. Versuche von Parteien, ihn politisch einzuspannen, ignorierte er.
Sein schelmischer Witz und die verschmitzte Schüchternheit täuschen darüber hinweg, dass der Perfektionist Erhardt stets mit Akribie an seinen Texten und seiner absichtlich unabsichtlich wirkenden Performance feilte.[
Sein Humor war bisweilen hintergründig. Manche seiner Gedichte kreisen auf subtile Weise um die Themen Vergeblichkeit, Vergänglichkeit und Tod, sodass man sie auch dem Genre des Schwarzen Humors zurechnen kann.[26]
Otto Waalkes[27] und Willy Astor[28] betrachten Heinz Erhardt als ihr Vorbild.