De Kleine modderkruiper is een langgerekt, lateraal afgeplat visje met drie paar korte baarddraden. De gemiddelde lengte bedraagt slechts 8 tot 10 cm. Onder het oog zit een beweegbaar, tweepuntig stekeltje die een verdedigingsfunctie heeft. Op de zijflanken bevinden er zich 10 tot 20 ronde, donkerbruine vlekken. De schubben zijn microscopisch klein, zodat het visje een gladde indruk geeft.