До XIII в. Смилтенский край вместе с замком входил в населенную латгалами землю Талава. После вторжения крестоносцев его получил рижский архиепископ, который в 1370 г. построил на крутом берегу р. Абулы каменный замок. У замка к XVI в. образовалось большое поселение.