La présence humaine est attestée sur le territoire de Pont-L'Abbé au Paléolithique et au Néolithique. À l'âge de fer, un important village gaulois a laissé de nombreux vestiges à Keralio et dans la partie occupée par l'actuel cimetière. Parmi les quelques stèles funéraires représentatives de cette époque, la plus connue est la célèbre stèle sculptée de Kermaria conservée au musée des antiquités nationales. Les romains réutilisent le site de Keralio et les sites voisins de Tréouguy et de Kernuz, au sud de la ville. Ils construisent également un camp à Menez-Roz-ar-C'hastel. Au Moyen-Age, le village de Keralio est placé sous l'autorité et la protection d'une motte féodale érigée aux abords sud de l'étang.

Vers le XIème siècle, les abbés de Saint Tudy et les seigneurs du Pont édifient le premier pont sur la rivière, à l'emplacement du pont actuel. Il n'existait avant cet ouvrage qu'un simple gué utilisable à marée basse. En 1220, les seigneurs du Pont renoncent à leur droit de patronage sur les terres, les biens et les vassaux de l'abbaye de Saint Tudy.
L'histoire de Pont-L'Abbé est, durant l'Ancien Régime, étroitement liée à celle des puissants barons du Pont qui s'illustrent dans de nombreuses batailles. Le bourg commence à prendre de l'importance sous le baron Hervé III, qui fonde le premier hôpital en 1350. Hervé IV fait construire en 1383 l'important monastère des Carmes et le premier quai. Pendant les Guerres de religion, les barons du Pont embrassent la religion réformée. L'un d'eux, Charles du Quelennec, dit Soubise, est assassiné à Paris en tentant de porter secours à l'amiral de Coligny le 24 août 1572, la nuit de la Saint-Barthélemy.
En 1675, le château du Pont est pillé et incendié lors de la révolte populaire des Bonnets Rouges. En représailles, le duc de Chaulnes, gouverneur de Bretagne, fait découronner de nombreux clochers de la région, dont celui de Lambour.
En 1791, la commune et la paroisse de Pont L'Abbé sont constituées par l'annexion de quatre sections rurales enlevées aux communes voisines de Loctudy, Plobannalec, Plomeur et Combrit. L'église moniale du couvent des Carmes devient église paroissiale. Par décret du 7 brumaire (28 octobre ) an X (1803) est créé le canton de Pont-L'Abbé, qui englobe 11 communes.
Port de commerce important aux XVIIIème et XIXème siècles, dans l'exportation des grains, des poissons, de la pomme de terre et du bois, et l'importation du vin, du sel et des épices, Pont-L'Abbé voit sa population croître, de 1884 habitants en 1 800 à 5 536 en 1893. Le déclin du port s'amorce durant l'entre-deux-guerres. Aujourd'hui, il n'est plus guère fréquenté que par des bateaux de plaisance.