Småmarimjelle er en variabel, middels høy plante i snylterotfamilien med glatt eller lett håret, opprett stengel med utspredte, nesten opprette greiner.
Bladene er lansettformede til elliptiske i formen, helrandede eller med 1-2 tenner ved basis, og blir opptil 12 mm brede.
Planten blomstrer i juni-august med gule blomster (88-10 mm lange) i et åpent, énsidet aks. Kronen har åpent svelg, og underleppen har ofte purpurfargede flekker.
Småmarimjelle trives på friskt, noe næringsrikt og skyggefullt jordsmonn i urterike blandingsskoger og granskoger, heier og lunder, også i fjellet.
Planten er svært vanlig, og finnes i stort sett hele landet.