Харманли е характерен малък град, възникнал около началото на XVI в., с типичния си селски облик. Съвременният град се състои главно от фамилни къщи и невисоки кооперации (до три етажа), характерни за присредиземноморските райони на Балканите. Градът е съставен от две части – стара и нова. Старата част е прорязана от множество къси улички или криволичещи по-големи, първите останали в „наследство“ от османския период, а вторите „изправяни“ през първите десетилетия на ХХ в. Погледнати от птичи поглед те наподобяват паяжина. Новата част се състои от успоредни, прави, пресичащи се перпендикулярно улици. Тази част се образува под влиянието на заселващите се в града бежанци най-вече от Беломорска Тракия след Балканската (1913) и Първата световна войни (1914-1918).

В днешния си вид и на днешното място Харманли възниква около 1510 г. Първите писмени сведения за наличието на селище са от 1530 г. Началото на съвременното селище се свързва с построяването на Кервансарай, който е приютявал пътниците по пътя им от и за Цариград по Диагоналния път, около който се оформя селище и държавен харман. По името на построения харман и селището се наименувало Харманли. В края на XVI в. били издигнати и други монументални постройки като Гърбавия мост (1585); джамия (ок. 1613 г., съборена през 1939 г., след земетресение); хамам (баня); чешма Ак-балдър (Изворът на Белоногата), изградена по заповед на Сиявуш паша, който притежавал харманлийския край като вакъф.

През 1833 г. е създадено килийно училище, а през 1835 г. е построена църквата „Св. Атанасий“. Малко преди Освобождението е създадено и читалище (1870 г.), наречено през 1899 г. с името „Дружба“. След 1873 г. когато е пусната в експлоатация и отсечката от Баронхиршовата железница Цариград-Белово, превърнала се по-късно в част от трасето на прословутия „Ориент експрес“, Харманли става една от станциите по него. Около 1876 г. е построена и жп-станция Харманли. В нея началник по това време е бил Ради Иванов. От около 1868 г. покрай Харманли минава и т. нар. Цариградско шосе (или Друма), което свързвало османската столица със западните империи.

От началото на ХХ в. Харманли и неговият регион се развиват като главен бубарски и тютюнопроизводителен район. Харманли става един от основните производители и износители на копринени пашкули и копринени влакна. Във връзка с това израстват Антрепозит, Филатура, Опитна бубарска станция. Тютюнът е претърпявал първична обработка в множеството построени складове. През 1926 г. е създадена Тютюнева кооперация „Балкан“, която осигурявала работа за много тютюнопроизводители.

В пешеходна обиколка на града могат да се видят останки на някои от споменатите сгради. Една от тях е Кервансарая. Това е първата монументална постройка в Харманли, построена някъде около XVI в., като пътна станция за улеснение на пътниците по важния Диагонален път. Кервансараят е разполагал е с 55 стаи, 12 отделения за добитъка и стопански помещения. Днес от сградата е запазена една от вътрешните стени носещи купола, градена в стила на византийския и ранноосманския архитектурен стил. Намира се на паркинга пред хотел Хеброс.

Недалеч оттам в посока градския пазар се намира Гърбавият мост. Той е част от големите строежи, които оформят архитектурния облик на Харманли през османския период. Има дължина 109 м., ширина 6 м. и три свода, които напомнят небесната дъга. Построен е по заповед на Сиавюш паша – велик везир на империята през 993 г. по мохамеданското летоброене (1585 г.). На мраморна стела, положена над средния свод, на старотурски са изписани стиховете на поета Саибаи:

„Благодарение на бога, великият везир на моредушния султан заповяда на Харманлийската вода един свод като небесния.

Като построи по благодарност един великолепен мост в Харманли, освободи с благопожеланието си бедния и богатия от мъките.

Светът е един мост, по който минава пътят на царя и бедняка. Който върви по правия и справедлив път, намира спасение при Бога. Като видях свършека на моста, аз, молейки се Богу, сам казах надписа. Във времето на Сиавюша се построи тоя великолепен мост година деветстотин деветдесет и трета.“

Мостът е основно реконструиран, а на метри от него се намира сградата на Историческия музей.

Символ на християнската вяра на харманлийци е старата църква „Св. Атанасий“. Построена е със средства и дарения на родолюбивото българско население от Харманли, Поляново, Тръново, Нова Надежда и Черногорово. Осветена е през 1835 г. и празнува своя храмов празник на 2 (15) май – летния Атанасов ден. В църковния двор от 1834 до 1884 г. се е помещавало първото училище в града.

Олтарът на „новата“ църква „Св. Иван Рилски“, строена през 1938 г., е забележителен образец на резбарското изкуство. Особеното в него е, че не следва стриктно канона, а напротив – освен обичайните растителни елементи, в него са резбовани сцени от поемата на П. Р. Славейков “Изворът на Белоногата”.