Στην πραγματικότητα η φράση αυτή ξεκίνησε ως ναυτικό πρόσταγμα που δινόταν την ώρα του κινδύνου.
Οι κατεργάρηδες ήταν οι κωπηλάτες στα πλοία του Μεσαίωνα, άνθρωποι με σκοτεινό παρελθόν και συχνά κατάδικοι (άνθρωποι των κάτεργων, δηλαδή πλοία που δούλευαν οι κατάδικοι).
Όταν, λοιπόν, ο αέρας έπεφτε και το καράβι έπρεπε να συνεχίσει το δρόμο του, χωρίς πανιά, μια φωνή δυνατή ξεσήκωνε απ’ το ξαπόσταμά τους, τους ανθρώπους αυτούς: «κάθε κατεργάρης στον πάγκο του»! Ήταν η διαταγή να καθίσουν και πάλι στα κουπιά, στους μακριούς ξύλινους πάγκους.
Υπήρχαν, επίσης, πλοία την εποχή εκείνη -συνήθως πειρατικά και πολεμικά που κινούνταν με πανιά ή κουπιά- που ονομάζονταν «κάτεργα» (πλεούμενες φυλακές). Έτσι το πλήρωμα των πλοίων αυτών λεγόταν «κατεργάρηδες» και ήταν άνθρωποι που εξέτιαν την ποινή τους στα πλοία αυτά.
