早年香港普羅大眾居住環境甚差，一層舊型「唐樓」內，二三伙人同居， 衛生設備不足，「抽水馬桶」（水廁）是新建的洋樓才有，唐樓用的「馬桶」，每夜臨睡前，要把它放置門外，由「夜香娘」把桶內穢物運走。

因為香港政府規定「倒夜香」只可在凌晨十二時至清晨六時之間進行，故為「夜」；而廣東人又習慣上用美化、意思吉祥的字來改換本來意思不太好的字，如「空屋」稱「吉屋」、「豬肝」叫「豬潤」，所以也改「臭」為「香」。再加上當時流行一首上海名曲「夜來香」，使「夜香」一名更貼切了。

收集了「夜香」會運至內河船，再運回內地作肥料出售。如「夜香」太多運不完，會運往南丫島以西西博寮海峽傾倒。由於「夜香」有價，當政府將「倒夜香」公營化後，走私夜香者亦大有人在。