Начало строительство замка традиционно датируют XII веком, хотя есть косвенные исторические свидетельства в пользу версий о том, что и первые крепостные сооружения появились на приозерном холме еще раньше. Долгое время замок служил резиденцей женевских графов, ведь сам Анси был в средневековье столицей Женевского графства. В 1401 году Анси входит в состав Савойского графства - весьма сильного в ту пору государства на юге Европы. В середине столетия графы укрепляют замок и возводят одну из самых мощных и красивых башен замка - Перрьер (Perrière). В ходе многочисленных войн в XVI-XVII веках Савойя ослабла, и Анси в 1630 году вошел в состав Франции.
Замок, перестроенный и расширенный в 1550-1600 годы, в середине XVII века пострадал от сильного пожара и вскоре обезлюдел. В середине XVIII века замок недолгое время служил казармой, но в основном его территория использовалась как небольшой склад. Во время Великой революции замок снова на несколько лет стал казармой, а после Наполеона крепость еще почти век служила приютом для бездомных жителей края.
В 1953 году городские власти организовали музей с исторической и художественной экспозицией. Сегодня здесь хранятся исторические предметы разных эпох, произведения классического и современного искусства.
Со стен замка открывается замечательный вид на город и озерную гладь Анси. К стенам крепости вплотную примыкает различные исторические здания, красивые улочки и скверы.
