Il s'agit de l'ancienne porte de l'enceinte castrale de la ville du XIIe siècle, qui a conservé des embrasures, la coulisse de la herse et les rainures du pont-levis qui a disparu en 1702 pour laisser place à un pont dormant. Cette porte a vraissemblablement été remaniée au XVIe siècle par l'évêque Toussaint d'Hocédy. Elle est flanquée à l'Ouest d'une tour de guet rectangulaire et à l'est d'une tour ronde dite du Gabion, récemment restaurée.