Carmiano ha origini antichissime. La Puglia, data la sua posizione geografica, è da sempre punto di unione tra oriente e occidente, con tutto ciò che ne deriva nel bene e nel male. La Puglia dunque risulta essere una delle prime terre ad essere stata occupata e quindi abitata. Alle origini il territorio pugliese si divideva in Daunia, Peucetia e Messapia, a quest'ultima apparteneva Carmiano.
Il nome Carmiano si ritiene derivi da "Carmen", ovvero "canto", o forse da "Carminio", per il caratteristico colore rosso della terra. Altre teorie più accreditate invece sostengono che il nome "Carmiano" derivi da "Carminius", coraggioso centurione romano che il Senato della Repubblica premiò per le sue azioni eroiche con l'assegnazione di un terreno della Messapia.
Carminius prese possesso di queste terre, stabilendo qui la sua dimora definitivamente e insieme alla sua famiglia e ai suoi fedelissimi soldati. Dopo la morte di Carminius le terre passarono in eredità ai successori col nome di "Praesidium Carmianensis", ossia "Carminianum".
Carmiano godette di prosperità economica e di un periodo di splendore agli inizi del periodo di dominazione dell'Impero Romano, grazie ad un ideale clima temperato, e ad una rigogliosa e fiorente vegetazione delle sue selve ed alla fecondità dei suoi vigneti. Per questi motivi Carmiano diventò proprietà privata di Imperatori e poté godere di privilegi particolari. Con la caduta dell'Impero Romano, anche Carmiano subì una caduta. Da lì in poi per un lungo periodo di tempo la sua storia è caratterizzata da scorrerie e incursioni arabe e barbariche.
Durante la dominazione bizantina Carmiano fu ricostruita completamente, non esattamente suule rovine originarie; e di recente, durante alcuni lavori di sterramento, sono state ritrovati, in contrada "Maggi" e "Saraceni", resti di muri e di tombe, forse dell'antico villaggio carmianese. In seguito alle invasioni e alle distruzioni avvenute per mano di Saraceni, Ungheri e Slavi, nell'intero Salento, durante i secoli X e XI, nessuno storico cita o menziona più Carmiano fino all'anno mille. Durante il periodo feudale Carmiano fece parte della Contea di Lecce.
Dal 1448 al 1807 Carmiano passò sotto l'autorità dei Padri Celestini, arrivati a Lecce nel 1353 grazie al conte Gualtiero di Brienne. In questo periodo Carmiano e le terre circostanti godettero nuovamente di un lungo periodo di pace, armonia, quiete e ripresa sociale ed economica. A Carmiano, tuttora sono evidenti i segni lasciati dalla operosità e della frugalità dei Padri Celestini; si chiama proprio "Palazzo dei Celestini" ed è situato nel centro storico di Carmiano.
Durante il periodo risorgimentale Carmiano partecipò alla rinascita della intera nazione. Così come accadde anche per il conflitto turco del 1912 e per i due conflitti mondiali.