1922 అక్టోబర్ 1వ తేదీన పశ్చిమగోదావరి జిల్లాలోని పాలకొల్లులో జన్మించాడు. ఇతనికి చదువు వంటబట్టలేదు. చిన్నప్పటి నుండి అకతాయిగా తిరుగుతూ అందరినీ నవ్విస్తూండేవాడు. చిన్నప్పుడే నాటకాలలో వేషాలు వేసాడు. నాటకాలు వేస్తూనే క్విట్ ఇండియా ఉద్యమంలో పాల్గొని జైలుకు వెళ్లివచ్చాడు.
1952లో తొలిసారిగా పుట్టిల్లు సినిమాలో చిన్న పాత్ర పోషించాడు. తరువాతవద్దంటే డబ్బు సినిమాలో నటించాడు. తరువాత సినిమాలలో అవకాశం కోసం భార్య, నలుగురు పిల్లలతో మద్రాస్ కు మకాం మార్చాడు. కానీ వెంటనే అవకాశాలు రాకపోవటంతో చాలా ఇబ్బందులు పడ్డాడు. హోమియో వైద్యం చిన్నప్పుడే నేర్చుకున్నాడు. ఉచితంగా వైద్యం చేసేవాడు.
తరువాత మూగమనసులు, దొంగరాముడు, మాయాబజార్, ముత్యాలముగ్గు, మనవూరి పాండవులు, అందాల రాముడు, శంకరాభరణం మొదలగు విజయవంతమైన సినిమాలలో హాస్యనటుడిగా నటించాడు. కొన్ని సినిమాలలో విలన్ గా కూడా నటించాడు. మనుషులంతా ఒక్కటే సినిమాలో రామలింగయ్య మీద తీసిన ‘ముత్యాలు వస్తావా’ పాట సూపర్ హిట్టయ్యి చాలాకాలం ప్రజల నోళ్లలో నానింది.
తరువాత గీతా బ్యానర్ అనే నిర్మాణ సంస్థను స్థాపించి బంట్రోతు భార్య, దేవుడే దిగివస్తే, బంగారు పతకం సినిమాలు నిర్మించాడు. ఇతని ఊతపదాలు అప్పుం, అప్పుం, అమ్యామ్యా తెలుగునాట బాగా ప్రచారం పొందినవి. రేలంగి, రమాణా రెడ్డి, బాలకృష్ణ వారి దగ్గర నుండి నేటితరం వరకు హాస్య చిత్రాలలో నటించిన ఏకైక హాస్యనటుడు రామలింగయ్య.
50 సంవత్సరాల పాటు హాస్యనటుడిగా తెలుగు ప్రజలను అలరించిన రామలింగయ్యను భారత ప్రభుత్వం ‘పద్మశ్రీ’ బిరుదుతో సత్కరించింది. రఘుపతి వెంకయ్య అవార్డును అందుకున్నాడు. రేలంగి తరువాత పద్మశ్రీ బిరుదును అందుకున్న హాస్యనటుడు ఇతను. తరువాత ఇతని వారసులు సీని రంగంలో ప్రవేశించారు. కొడుకు అల్లు అరవింద్ నిర్మాతగా, అల్లుడు చిరంజీవి హీరోగా, మనవడు అల్లు అర్జున్ హీరోగా ఇతని కాలంలోనే సీనిరంగంలో ప్రవేశించారు.
2004 జులై 31వ తేదీన తన 81 యేట మరణించాడు. పాలకొల్లులో ఇతని జ్ఞాపకార్ధం విగ్రహాన్ని నెలకొల్పారు.
2013లో చలన చిత్రపరిశ్రమ వందేళ్లు పూర్తి చేసుకుంది. ఈ సందర్భంగా భారత తపాలా సంస్థ యాభై పైసల తపాలా బిళ్లను అల్లు రామలింగయ్య గౌరవార్ధం విడుదల చేసింది.