Miasto Semily leży u podnóża osnutego legendami szczytu Kozákov, u zbiegu rzeki Izery z rzeką Oleška. Rozciąga się w rozległej kotlinie otoczonej szczytami Wyżyny Podkarkonoskiej. Pierwsza pisemna wzmianka o miejscowości Semily pochodzi z 1352 roku, ponieważ jednak dotyczy kościoła, można założyć, że miejscowość Semily istniała już dużo wcześniej.
Przez stulecia Semily były siedzibą feudalnych panów. Dobra należały długo do rodu Smiřickich, następnie do Albrechta von Wallensteina, a później do obcych rodów szlacheckich. Pozostałości majątków semilskich odkupiło w 1890 roku miasto Semily. W minionych stuleciach miasto Semily przeżyło okresy rozwoju rolnictwa, handlu, rzemiosł, drobnej produkcji, a następnie przemysłu wykorzystującego siłę rzeki. Rozwijały się młyny, produkcja przędzy i płócien, druk na tekstylia, a od 1515 roku również browar. Miasto było w przeszłości w większej części drewniane, dlatego z powodu kilku niszczycielskich pożarów nie zachowało się wiele z pierwotnej zabudowy.
Semily są też dzięki położeniu dobrym punktem wyjściowym wypraw do Czeskiego Raju, południowej części Gór Izerskich i Podkarkonoszy.