Palotai Károly 1935. szeptember 11-én született Békéscsabán. A weboldal felidézi, hogy 1950-ben kezdett futballozni a Békéscsabai Építőkben, 1954 decemberében a Viharsarokból ment Győrbe. Először hátravont középcsatárként próbálgatták a tartalékban, majd fél év múlva bemutatkozott az első csapatban. 1956 őszén elhagyta az országot, Pálfy Antallal és hét évvel idősebb fivérével, az A válogatottban is szerepelt Palotai Jánossal a Freiburger FC-hez került. 1958-ban jött haza Németországból.

Játékos-pályafutása legnagyobb sikerét az olimpiai válogatottal Tokióban érte el 1964-ben, ahol aranyérmes lett. Az együttes hét mérkőzéséből haton pályára lépett Japánban, és egy gólt szerzett. Egyedül a csehszlovákok elleni döntőről hiányzott sérülés miatt, s csak évekkel később kapta meg az aranyérmét.
Klubjával 1963 őszén megnyerte az őszi (egyfordulós) bajnokságot, valamennyi bajnokin szóhoz jutott. 1967-ben bronzérmet szerzett a Győri Vasas ETO-val. A gárda 1964 és 1968 között sorozatban négy Magyar Népköztársasági Kupa-sorozat döntőjébe jutott, hármat megnyert, kettőben Palotai is játszott.

Ugyanakkor egyszer sem lehetett nagyválogatott, 1960 és 1964 között tízszer szerepelt a B válogatottban, s egy gólt szerzett. 1963-tól 1964-ig harmincszor viselte az olimpiai válogatott szerelését, és háromszor talált a kapuba. 1967. május 3-án játszott utoljára bajnokit, az ETO 2-2-re végzett az MTK-val.

Röviddel később kezdődött nagy ívű játékvezetői karrierje: 1974-ben, 1978-ban és 1982-ben a világbajnokságon, 1972-ben és 1976-ban az olimpián, 1980-ban az Európa-bajnokságon vezethetett. 1975 és 1981 között csak 1980-ban nem kapott bírói szerepet egyetlen kontinentális kupadöntőben sem. 1976-ban ő dirigálta például a Bayern München-St. Étienne, majd 1981-ben a Liverpool-Real Madrid BEK-finálét.

A leghíresebb 90 perce fekete uniformisban az 1978-as világbajnokságon megrendezett argentin-brazil volt (0-0). Elvitathatatlan érdeme, hogy az összecsapást sikerült súlyosabb következmények nélkül levezényelnie.

1990-ben a Győr-Moson-Sopron megyei Labdarúgó-szövetség elnökévé választották, 1998-ig töltötte be ezt a szerepkört. 1985 és 2005 között a kontinentális szövetség, az UEFA játékvezetői ellenőreként járta az európai stadionokat, s felügyelt a mérkőzések tisztaságára. 2012-ben Győr város díszpolgára lett, 2014-ben jelölték a Prima Primissima díjra.
Palotai Károlyt az MLSZ saját halottjának tekinti.