Chrastava se rozkládá v údolí říčky Jeřice a řeky Nisy. Ze všech stran ji svírají stráně Ještědského hřbetu a Jizerských hor. Severní hranici města tvoří státní hranice s Polskou republikou.
Dominantou Chrastavy je kostel sv. Vavřince, výrazná pseudogotická stavba stojící na nevysokém návrší nad městem. Centrem města je náměstí 1. Máje, kde je několik domů s empírovými fasádami – např. radnice. Uprostřed náměstí stojí barokní pískovcová kašna a nedaleko ní asi historicky a umělecky nejcennější památka na území Chrastavy - barokní mariánské sousoší. Technickou památkou chráněnou státem je kovový secesní most přes Jeřici. V rodném domě církevního malíře Josefa Führicha je instalována expozice městského muzea. V okolí města se nacházejí ruiny dvou hradů - Hamrštejn a Roimund.
Chrastava je křižovatkou několika turistických a cyklistických tras. Cyklistické trasy se napojují na dálkovou Jizersko-krkonošskou magistrálu. Z města do přírodního parku Ještěd vede celá řada značených turistických tras, byl tu vyznačen také vycházkový okruh jehož trasa vede lesními cestami. V létě můžete ve městě využít koupaliště s travnatým břehem. V zimě nabízí pro lyžaře a snowbordisty výborné podmníky lyžařský areál Ještěd. Pro běžkaře jsou připravené upravované tratě v Bedřichově.