La première forteresse fut construite en 1292 par Eudes de Fouvent, afin de protéger le gué sur la rivière la Morthe. Les guerres qui ravagèrent tant de fois la Franche Comté, le détruisirent à maintes reprises, mais il fut toujours reconstruit et toujours habité. Remanié entre le 17 et le 19 ème siècle, les travaux sont dû au Baron de Klingin et à la famille de Menthon, propriétaire depuis 1832. Cette famille dont les origines savoyardes remontent au 10 é siècle a toujours été associée à l'histoire de la Franche Comté.