Το 1974 εντάχθηκε στο ΠΑΣΟΚ και εκλεγόταν συνεχώς βουλευτής Ιωαννίνων για 26 χρόνια (1977-2004). Στην πρώτη κυβέρνηση Ανδρέα Παπανδρέου διορίστηκε Υφυπουργός Εξωτερικών, θέση στην οποία παρέμεινε μέχρι το 1984 ενώ στη συνέχεια αναβαθμίστηκε σε Αναπληρωτή Υπουργό Εξωτερικών. Από 1985 ως το 1989 διετέλεσε Υπουργός Εξωτερικών, ενώ στην οικουμενική Κυβέρνηση Ζολώτα 1989-1990 ανέλαβε τα καθήκοντα του Αναπληρωτή Υπουργού Εθνικής Άμυνας. Στη θέση του Υπουργού Εξωτερικών επανήλθε το 1993 και παρέμεινε μέχρι το 1996 και την παραίτηση της Κυβέρνησης Παπανδρέου, ενόψει της εκλογής του Κώστα Σημίτη στο αξίωμα του Πρωθυπουργού. Τέλος, διατέλεσε πρόεδρος της Επιτροπής Εθνικής Άμυνας και Εξωτερικών Υποθέσεων της Βουλής.
Στις 12 Δεκεμβρίου 2004 προτάθηκε από τον Πρωθυπουργό Κώστα Καραμανλή για το αξίωμα του Προέδρου της Δημοκρατίας. Υπέρ της πρότασης εκφράστηκε και το ΠΑΣΟΚ. Στην πρώτη ψηφοφορία που έγινε στη Βουλή στις 8 Φεβρουαρίου του 2005 ο Κάρολος Παπούλιας εξελέγη Πρόεδρος της Δημοκρατίας από τον πρώτο γύρο με 279 ψήφους.
Στις 3 Φεβρουαρίου 2010 ο Κάρολος Παπούλιας επανεξελέγη στο ύπατο αξίωμα της χώρας με 266 ψήφους στο σύνολο των 298 ψηφισάντων. Υπερψηφίστηκε από σύσσωμες τις Κοινοβουλευτικές Ομάδες του ΠΑΣΟΚ, της ΝΔ και του ΛΑΟΣ.
Είχε γεννηθεί στο χωριό Μολυβδοσκέπαστος Ιωαννίνων και ήταν γιος του υποστράτηγου Γρηγορίου Παπούλια. Αποφοίτησε από τη Νομική Σχολή Αθηνών και στη συνέχεια πραγματοποίησε μεταπτυχιακές σπουδές στο Πανεπιστήμιο του Μιλάνου και έλαβε το διδακτορικό του δίπλωμα από το Πανεπιστήμιο της Κολωνίας πάνω στο ιδωτικό Διεθνές Δίκαιο.
Ήταν νυμφευμένος με τη Μαρία Πάνου και είχε τρεις κόρες.