W roku 1869 Annopol stracił prawa miejskie i jako osada został wcielony do Gminy Rachów, przemianowanej dwa lata później na Gminę Annopol. Stan taki przetrwał do czasu okupacji hitlerowskiej, kiedy to powstało Starostwo Kraśnickie. Ze względu na silny ruch oporu i liczne oddziały partyzanckie okupant przeniósł siedzibę powiatu z Janowa Lubelskiego do Kraśnika. Podział administracyjny w 1975 roku zniósł powiaty i wprowadził 49 małych województw. Annopol, niezgodnie ze swoimi tradycjami historycznymi znalazł się w obcym dla siebie obszarze województwa tarnobrzeskiego.
Annopol i mieszkańcy gminy na przestrzeni dziejów historycznych dzielili losy narodu polskiego, województwa lubelskiego, powiatu janowsko-kraśnickiego. Wojny, powstania i okupacje zostawiały tutaj swoje ślady. Krew żołnierzy, którzy zginęli w walce i krew pomordowanych cywilów razem wsiąkły w tę ziemię.
Od początku istnienia miasta, z powodu swego strategicznego położenia nad Wisłą, było świadkiem przemarszów wojsk, potyczek i bitew związanych z prowadzonymi przez państwo polskie wojnami i powstaniami narodowymi podczas zaborów. W czasie Konfederacji Barskiej w 1769 r. Annopol w pogoni za konfederatami nawiedził oddział wojsk rosyjskich dowodzonych przez Drewicza a w 1771 r. feldmarszałek rosyjski Suworow stoczył walkę z dowódcą konfederatów Sawą-Calińskim. W czasie Insurekcji Kościuszkowskiej (1794) w Rachowie-Annopolu urzędowała Komisja Porządkowa Lubelska (przeniesiona tu czasowo z Lublina). Kierowała ona całokształtem spraw związanych z powstaniem. 5 kwietnia 1794r. oddziały rosyjskie (gen. Denison) stoczyły tu potyczki z wojskiem polskim, a 17 maja tego roku gen. Grochowski po utarczkach z Rosjanami przeszedł Wisłę pod Annopolem.
W okresie istnienia Księstwa Warszawskiego w czasie wojny polsko-austriackiej w 1809 roku wojska polskie przemarszem 15 i 16 maja znalazły się w Rachowie.
W powstaniu listopadowym 1830-1831 rejon Annopola objęty był również walkami oddziałów powstańczych (gen. Dwernicki i gen. Sierawski) skierowanymi przeciwko rosyjskiemu korpusowi gen. Kretuza. 15 września 1831 r. korpus polski generała Ramorino w walce z Rosjanami (korpus gen. Rosena) przeszedł w rejon Rachowa i po stoczeniu walk pod Borowem i Kosinem 15 i 16 września 1831 r. przeszedł granice austriacką i złożył broń.
W 1833 roku w rejonie Annopola prowadziła działalność zbrojna partyzantka płk. J. Zalewskiego. Małe oddziały pod dowództwem Białkowskiego i Łubieńskiego – wspomagane żywnością i ekwipunkiem przez miejscową ludność stoczyły dwie potyczki z Kozakami, m.in. w rejonie Rachowa i Świeciechowa.
26 stycznia 1863 roku u bram Annopola oddział wojsk powstańczych stoczył walkę z Rosjanami pod Wólką Rachowską. A 22 września tego roku powstańcy na krótko opanowali miasto.
Przyczółkowe położenie Annopola spowodowało, że w czasie I wojny Światowej miasto kilka razy było terenem walk między wojującymi państwami. Przebiegająca ok. 12 km na południe od Annopola granica austriacko-rosyjska obsadzona była z obu stron wojskami wrogich armii.
Na początku 1915 roku I Brygada Legionów pod dowództwem Komendanta Józefa Piłsudskiego tocząc walki z cofającymi się Rosjanami przekroczyła Wisłę pod Annopolem i wkroczyła na Lubelszczyznę. Dla upamiętnienia tego wydarzenia w okresie międzywojennym wzniesiono w Annopolu obelisk z wizerunkiem Marszałka Józefa Piłsudskiego, przed którym odbywały się rocznice Odzyskania Niepodległości i Uchwalenia Konstytucji 3 Maja. Monument przetrwał (z pewnymi uszkodzeniami) okres okupacji hitlerowskiej i przejście Armii Czerwonej. Natomiast nie oszczędziła go władza ludowa, pomnik został zburzony.
W 2003 roku mieszkańcy Annopola powołali Komitet Odbudowy Pomnika Marszałka Józefa Piłsudskiego. Staraniem Komitetu i ówczesnych władz samorządowych w 2006 roku pomnik zostaje odbudowany.
W okresie II wojny światowej mieszkańcy Annopola i całej gminy czynnie brali udział w walce z okupantem, poprzez włączanie się do ruchu oporu, przystępując do różnych organizacji, a także pomagając partyzantom z okolicznych lasów.
W 1939 roku przeprawy niemieckiej 5 Dywizji Piechoty w rejonie Annopola broniły oddziały kawalerii polskiej: mjr Majewskiego i batalion piechoty z Lublina pod dowództwem kpt. J. Szwagierka. Wskutek działań wojennych i dla zatrzymania naporu wojsk niemieckich ok. 6 września 1939 roku most na Wiśle został zerwany przez polskie władze wojskowe.
W pobliskim Rachowie hitlerowcy zorganizowali obóz pracy dla Żydów. 3 listopada 1943 roku przywieźli tu 630 Żydów z obozu pod Kraśnikiem. 17 grudnia 1943 roku oddział specjalny BCh pod dowództwem Mieczysława Kozłowskiego ps. Tadek z Annopola, opanował południową część miasta. W ostatnich tygodniach okupacji niemieckiej 10 lipca 1944 r. oddział AL. (dow. E. Gronczewski PS. Przepiórka) dokonał udanej akcji na niemieckie obiekty wojskowe w miejscowości Lipka k/Annopola. Szczególnie tragiczna była pacyfikacja miejscowości Borów i okolic 2 lutego 1944 r. podczas której wieś została prawie doszczętnie zniszczona a mieszkańcy wymordowani.
Rokrocznie mieszkańcy gminy uroczyście obchodzą rocznice pacyfikacji Borowa i okolic. Odbywa się uroczysta msza św. apel poległych, a na zbiorowej mogile zamordowanych lokalne władze, zaproszeni goście wraz z mieszkańcami składają wieńce i kwiaty.
W latach pięćdziesiątych XX wieku nastąpił szybki okres odbudowy miasta ze zniszczeń wojennych. Największy rozwój Annopola przypada na lata 1952 - 1959 w związku z uruchomieniem kopalni fosforytów. Kolejne ożywienie rozwoju Annopola nastąpiło w latach 1970 - 1975. Po zlikwidowaniu kopalni fosforytów powstały nowe obiekty produkcyjne: Zakłady Przemysłu Metalowego "Metalchem", Oddział Śrutu Kostnego. Wraz z tym nastąpił szybki rozwój sieci szkolnictwa podstawowego i średniego. Od początku 1990 roku w Annopolu zostało otwartych wiele małych prywatnych zakładów produkcyjnych i usługowych. Rozporządzeniem z dnia 19 grudnia 1995 roku w sprawie nadaniom niektórym miejscowościom statusu miasta Rada Ministrów z dniem 1 stycznia 1996 roku nadała miejscowości Annopol status miasta.