Devido à debilidade na defesa do território, as portas na muralha eram escassas. A Porta da Vila, a nascente, foi reconstruída em fase posterior, no alçado interior da qual são visíveis numerosas siglas esculpidas nos silhares, nomeadamente, as marcas de canteiro, muito comuns durante os séculos XIII e XIV. Nessa época, os pedreiros eram remunerados à peça, e não ao dia, sendo estas marcas uma forma de contabilizar o seu trabalho. A Porta Nova, a poente, também designada do Sol, ou da Covilhã, e alguns metros a norte dela a, assim chamada, Porta Falsa, que não o é, porque as portas falsas conduziam a becos sem saída. No século XIV é construída a Torre do Facho, no lado ocidental da muralha, para melhor proteger as Portas (Nova e Falsa) aí existentes e controlar as terras em direcção à Covilhã. O seu nome deriva dos fachos que no seu topo se queimavam para, através de sinais de fumo, comunicar com os outros castelos. O casario que hoje observamos no interior das muralhas é um dos núcleos mais bem conservados de Portugal, preservando a traça de casas, e ruelas, da Sortelha quinhentista. São também comuns em Sortelha as mísulas laterais, que serviriam para colocar vasos de flores.