Ragályi Elemér Rákosligeten született, az ottani tisztviselőtelepen nőtt fel, tizenéves korában az Aranycsapat hatására futballkarrierről álmodozott. Adóügyi tanácsos édesapja azt szerette volna, ha fia "rendes" szakmát választ, jogász lesz, ő mégis színésznek és operatőrnek jelentkezett. Miután felvételi vizsgája nem sikerült, 1957-től a Mafilm stúdiójában volt világosító, laboráns, segédoperatőr és felvételvezető. Harmadszorra vették fel a Színház- és Filmművészeti Főiskolára, ahol Herskó János és Illés György osztályában 1968-ban diplomázott. Még főiskolásként fényképezte első filmjét, az Elek Judit által rendezett Meddig él az ember? című dokumentumfilmet, amellyel díjat nyert a miskolci rövidfilmfesztiválon. Első játékfilmjét is Elek Judit rendezte 1969-ben, Sziget a szárazföldön címmel.
A fiatal magyar rendezői gárda keresett operatőre lett, a hetvenes évektől mások mellett Zolnay Pállal, Gaál Istvánnal, Sándor Pállal, Rózsa Jánossal, Mészáros Mártával, Gazdag Gyulával, Grunwalsky Ferenccel, András Ferenccel dolgozott együtt, az évente készülő mintegy húsz magyar játékfilmből többet is ő fényképezett.
Egyedi kameramozgatási technikája - szeretett mindent a néző szemszögéből, kézi kamerával láttatni - hamar ismertté és kedveltté tette.
Mára klasszikussá vált filmek operatőre volt, mint amilyen a Sárika, drágám, a Régi idők focija, a Kakuk Marci, a Bástyasétány 74, a Talpuk alatt fütyül a szél, a Szabadíts meg a gonosztól, a Ripacsok, a Dögkeselyű, a Szirmok, virágok, koszorúk, a Miss Arizona, a Csók, anyu!, A nagy generáció, vagy a Herkulesfürdői emlék, és ő fényképezte a Queen együttes 1986-os budapesti fellépéséről készült filmet is.
1988-tól a megújulás reményében külföldre ment, ahol újra bizonyítania kellett, s hamarosan Európa-szerte és Amerikában is jegyezni kezdték a nevét.
1991-ben, Xavier Koller svájci rendezővel készített filmjéért, A remény útjáért a legjobb idegen nyelvű filmnek járó Oscar-díj sikerében is osztozott. Tizenöt évet töltött el a tengerentúl, közben itthon is dolgozott, egyebek között a nagysikerű Sztracsatella vagy A miniszter félrelép című filmekben. Hazatérését követően egyebek közt a Szerelemtől sújtva, az Egy hét Pesten és Budán és az Apám beájulna című alkotások forgatásán dolgozott, néhány filmben szereplőként is felbukkant.
2005-ben állt először rendezőként a kamera mögött, a Csudafilm című vígjátékot ő fényképezte, és a forgatókönyvet is együtt írta Kern Andrással, majd a Nincs kegyelemben (2007) az emberölésért ártatlanul elítélt Pusoma Dénes esetét dolgozta fel.
Számára az operatőri munka foglalkozás, míg a rendezés kaland, szavai szerint ilyenkor csak fél szemmel rendez, a másikkal azt nézi, mit csinál az operatőr.
Ő fényképezte Halász Judit első egész estés koncertfilmjét (Csiribiri), majd Szabó Magda Az ajtó című regényének megfilmesítésekor pályafutása során először dolgozott együtt Szabó István rendezővel, s közreműködésével forgatták a több fesztiváldíjat besöprő Kukoricasziget című grúz drámát (2014). Az utóbbi években operatőrként Kern András Gondolj rám című tragikomédiája, Török Ferenc 1945 című történelmi drámája, vagy Gárdos Éva Budapest noir című, az 1930-as években játszódó krimije készült vele.
Olyan világhírű színészekkel forgatott mások mellett, mint az Oscar-díjas Sir Ben Kingsley (Bűn és bűnhődés, Anna Frank igaz története), Christian Bale (Mária, Jézus anyja) Robin Williams (Hazudós Jakab), Alan Rickman és Sir Ian McKellen (Raszputyin) vagy Sally Field (David Copperfield).
Az egyik legaktívabb magyar filmoperatőr művészien használja a régi és a legújabb filmes technikai megoldásokat is. Az elmúlt negyven év során mintegy száz játékfilmet, minisorozatot, tévé- és dokumentumfilmet forgatott,
stílusa a dokumentarizmus és a stilizáció egyfajta ötvözete, még kifejezetten dokumentarista filmjeiben is van poétikus, stilizált elem.
Ragályi Elemér csaknem egy évtizedig tanított a Színház- és Filmművészeti Főiskolán (ma Egyetemen), több alkalommal is operatőri mesteriskolát vezetett Zsigmond Vilmossal az etyeki Korda Filmstúdióban. Azt vallja:
Nem szeretem, ha egy rossz film a külalakjával csillog; a jól végzett operatőri munkák lelógnak a filmről, és ornamentikának hatnak. Annyira jó egy film, amennyire együttesen jó a forgatókönyve, a rendezője és az operatőre."
Művészi munkája elismeréseként 1974-ben Balázs Béla-díjat, 1985-ben kiváló művész címet, 1991-ben Kossuth-díjat kapott. A Magyar Filmszemlén hat alkalommal díjazták a legjobb operatőrként, 2008-ban a Nincs kegyelemért elnyerte a legjobb rendezőnek járó díjat. Érdekesség, hogy a film operatőre a fia volt, akivel azóta is többször dolgozott együtt. 2012-ben az Aranyszem Operatőr Fesztiválon az év operatőre, és az Illés György-díjat vehette át. A Josephine Baker élete című alkotásért megkapta az Amerikai Operatőrök Szövetségének - Cable ACE - televíziós díját, s ő fényképezte A remény útja című svájci lélektani drámát, amely 1991-ben Oscar-díjat kapott a legjobb külföldi film kategóriában.
1996-ban a Raszputyin című tévés filmprodukció operatőri munkájáért a tévés Oscarnak tartott Emmy-díjjal jutalmazták, 2001-ben újabb jelölést kapott az Anna Frank igaz története című tévésorozat fényképezéséért. 2014-ben Prima Díjban részesült, és Rákosmente díszpolgára lett. Többször nyerte el a filmkritikusok díját, két éve az 1945 című alkotásért. 2018-ban életműdíjjal ismerték el a Kovács László és Zsigmond Vilmos operatőrversenyen, valamint a Zsigmond Vilmos Nemzetközi Filmfesztiválon, idén pedig a magyar filmkritikusok életműdíját vehette át sok évtizedes kimagasló művészi munkájáért.
A világhírű filmes a hírek szerint új területen is ki akarja próbálni magát: ír, novelláskötetet készül kiadni.