De Smalle olijfwilg is een struik die tot 9 m hoog kan worden. De stengels, knoppen en bladeren zijn dicht bedekt met een zilverige tot roestkleurige beharing. De bladeren zijn ei- tot lancetvormig en hebben een gladde rand. Er bevinden zich stervormige haren op de bovenzijde van het blad. De rijpe bessen zijn olijfvormig en zilverig-geel tot roodachtig. De scheuten zijn meestal stekelig. De bloemen zijn geel en aromatisch.
Smalle olijfwilg is in het buitenland zeer competitief gebleken en kan een dichte vegetatie vormen waarin inheemse planten geen kans meer krijgen