Замок был построен в 1320 г. и первоначально представлял собой небольшое укрепление, принадлежащее клану МакДугалов.

В 1388 г. право владения на эти земли, включая замок, перешло к Стюартам. Считается, что сэр Джон Стюарт выстроил замок в том виде, в котором он сохранился до наших дней. У Джона Стюарта был внебрачный сын от женщины из клана Макларенов. В 1463 г. он собрался жениться на ней, чтобы сделать сына законным наследником, но был убит на выходе из церкви Аланом МакКоулом. Однако церемония бракосочетания уже состоялась и сын Джона, Дугалд, стал Первым лордом Стюартом из Аппина.

В 1468 г. Дугалд отомстил МакКоулу, собственноручно лишив жизни убийцу своего отца. В 1497 г. во время набега на земли МакДональда из Кеппоха, который совершили Стюарты и Макларены в ответ на кражу скота, Дугалд Стюарт был убит. Ему наследовал старший сын Дункан.

Шотландский король Яков IV, будучи Стюартом, приходился Дункану родственником. Яков был страстным охотником и, выезжая в горы на охоту, часто останавливался в замке Сталкер. Считается, что из-за этих визитов замок немного перестроили, стремясь сделать его более удобным для проживания, в том числе выстроили еще один этаж.

В 1512 г. Дункан Стюарт был убит. Ему наследовал младший брат Алан. В 1513 г. Стюарты из Аппина — сам глава клана и пятеро его сыновей — сражались на стороне короля в битве при Флоддене, одной из самых кровопролитных битв в истории Шотландии. В том сражении шотландцы потерпели сокрушительное поражение, а Яков IV был убит. Шестерым Стюартам из Аппина удалось выжить.

В 1520 г., когда Александр Стюарт удил рыбу неподалеку от замка, он был застигнут врасплох и убит людьми из клана Кэмпбеллов. Предание гласит, что во время набега няня спрятала ребенка Александра, юного Дональда, в замке, а когда Кэмпбеллы уехали, вернулась и увезл

Когда Дональд вырос, он стал известен как человек необычайной силы. Его называли Дональд Молот (гэльск. Donald nan Ord) — так как он мог взять в каждую руку по кузнечному молоту и с легкостью орудовать ими. В 1544 г. Дональд призвал на помощь всех Стюартов из Аппина и отправился в Данстаффнэйдж, где отомстил за отца, отправив девятерых Кэмпбеллов на тот свет. Дональд Молот также вел Стюартов в бой в битве при Пинки 10 сентября 1547 г. Он умер в 1607 г. и похоронен в Лисморе.

Около 1620 г. Дункан, Седьмой лорд Стюарт, напившись допьяна, поменялся с одним из Кэмпбеллов — отдал замок в обмен на восьмивесельную лодку-верейку. Сталкер вернулся к Стюартам только в 1689 г., но после поражения в битве при Данкелде, Сюартов обязали вновь передать замок Кэмпбеллам. Стюарты отказались, и Кэмпбеллы осаждали замок в течение нескольких месяцев, пока наконец не захватили его.

Кэмпбеллы жили в замке примерно до 1800 г., потом перебрались с острова на большую землю, а замок использовали как склад, пока в 1840 г. в нем не обвалилась крыша. В 1908 г. замок купил Чарльз Стюарт, потомок Стюартов, которые владели замком 300 лет назад, а в 1965 г. владельцем замка стал полковник Д.Р. Стюарт из Оллварда. По его инициативе в замке на протяжении десяти лет проводились реставрационные работы, и благодаря этому сейчас он содержится в прекрасном состоянии и пригоден для жилья. Работы по восстановлению замка проводили не профессиональные рабочие, а собственноручно полковник Стюарт с женой, членами их семьи и друзьями.

а спасенного мальчика в Морвен.