文治2年(1186年)桑名行綱によって築かれたのが始まりとされる。
天正2年(1574年)織田信長の伊勢侵攻によって滝川一益が北伊勢を領して長島城に入城する。本能寺の変の後、天正11年(1583年)羽柴秀吉は滝川一益を攻略して、北伊勢は織田信雄の所領となり、天野景俊が城主となった。
しかし、天正18年(1590年)豊臣秀吉による小田原征伐の後、織田信雄は徳川家康の旧領に転封となることを固持して下野国烏山に流罪となり、豊臣秀次の所領として一柳直盛が城主となった。この一柳氏の時代に神戸城の天守を移築したという。
文禄4年(1595年)豊臣秀次は自害させられると、氏家行広が二万二千石で入封するが関ヶ原合戦で西軍に属したため改易となる。
慶長6年(1601年)上総国大多喜より本多忠勝が十万石で入封すると、城は大きく拡張された。<現地案内板より>