低地から山地の落葉樹林に自生する落葉小高木。名前の由来は、茎や葉を揉むとゴマ（胡麻）の匂いがすることによる。高さは2-7m。樹皮は平滑で灰褐色。葉の表面は暗緑色、対生、葉柄は長さ5-20mm、葉身は長さ5-15cmの倒卵形から長楕円形、上部の縁に鋸歯がある。側脈は6-12対。4-6月に枝先に径5-20cmの散房花序をだし、小さな白色の花を多数つける。花冠は径7-9mmの高杯状で5裂する。雄しべは5個。果実は長さ8-10mmの楕円形の核果で8-10月に赤から黒色に熟す。