३१ डिसेंबर १९४९ रोजी सैनिकी सरकार समाप्त झाले. २६ जानेवारी १९५० रोजी ICS अधिकारी एम. के. वेल्लोडी हैदराबादचे मुख्यमंत्री झाले. निजाम मीर उस्मान अली याला ‘राज्य प्रमुख’ दर्जा देण्यात आला. सैनिकी प्रशासन हटवण्याच्या निर्णयाचे गोविंदभाईंनी स्वागत केले. परंतु वेल्लोडी सरकारदेखील लोकशाही सरकार नव्हते. लवकरात लवकर हैदराबाद राज्यात निवडणूक घेऊन प्रातिनिधिक सरकार आणावे यावर त्यांनी भर दिला. 

१९५२ साली हैदराबाद राज्यात सर्वप्रथम विधानसभेच्या सार्वत्रिक निवडणुका घेण्यात आल्या. १७५ जागांपैकी ९३ जागा जिंकून काँग्रेसचे सरकार बहुमताने निवडून आले. १२ फेब्रुवारी १९५२ रोजी बी. रामकृष्ण राव यांची मुख्यमंत्रीपदी निवडणूक झाली आणि त्यांनी आपले मंत्रिमंडळ स्थापन केले. श्री. काशिनाथ वैद्यांची सभापतीपदी नियुक्ती करण्यात आली. श्री. दिगंबर बिंदू यांना गृह खाते देण्यात आले. याशिवाय विनायकराव विद्यालंकार, के. व्ही. रंगा रेड्डी, श्री. मेलकोटे, नवाब मेहंदी नवाज जंग, श्री. फुलचंद गांधी, श्री. चेन्ना रेड्डी, श्री. गणमुखी, श्री. चांदेरगी, श्री. व्ही. बी. राजू, श्री. शंकर देव आणि श्री. देवीसिंग चौहान असे मिळून १३ मंत्र्यांचे मंत्रिमंडळ अस्तित्वात आले. वेल्लोडी  सरकारातील सातवे निजाम उस्मान अली यांचे ‘राजप्रमुख’ पद पुढे चालू ठेवण्यात आले. बी. रामकृष्ण राव यांच्या मंत्रिमंडळाने ६ मार्च १९५२ रोजी शपथ घेतली. गोविंदभाईंच्या लीग ऑफ सोशलिस्ट वर्कर्स या पक्षाला पराभवाचा सामना करावा लागला परंतु जनता लोकतांत्रिक आघाडी हैदराबाद विधानसभेत प्रमुख विरोधी पक्ष ठरली हे आपण पाहिलेच आहे.

हैदराबाद राज्यात मराठवाड्याच्या विकासासाठी प्राधान्य मिळावे यासाठी गोविंदभाईंनी सक्रिय प्रयत्न सुरू केले. निजामी राजवटीत शिक्षण, शेती, उद्योग, रोजगार आणि वाहतूक यांचा फारसा विकास झाला नव्हता. दारिद्र्य, अज्ञान आणि उपेक्षेमुळे लोकांचे जीवन कठीण झाले होते. सरंजामी व्यवस्थेने जनतेला पिळवणूक सहन करावी लागली होती. त्यामुळे स्वातंत्र्यानंतर जलद प्रगती होण्याची अपेक्षा इथल्या लोकांना होती.

विकासाचे नियोजन जनतेच्या गरजांवर आधारित असावे अशी गोविंदभाईंची भूमिका होती. त्यावेळी हैदराबाद राज्याचे मुख्यमंत्री बी. रामकृष्णराव आणि नियोजन मंत्री डॉ. चेन्ना रेड्डी होते. १९५५ साली मराठवाड्याच्या मागण्या शासनापर्यंत पोहोचवण्यासाठी त्यांनी एक शिष्टमंडळ तयार केले. त्यात गोविंदभाईंसह स्वामीजी, राघवेंद्रराव दिवाण, व्ही. डी. देशपांडे, माधवराव नेरळीकर, श्रीधर नाईक, शंकरराव चव्हाण, नरसिंगराव काटीकर आणि देवीसिंह चौहान सहभागी होते. सर्वांची मते विचारात घेऊन एक निवेदन तयार करण्यात आले. निवेदन ३० एप्रिल १९५५ रोजी नियोजनमंत्र्यांना सादर करण्यात आले.

त्या निवेदनात, मराठवाड्यात पूर्णा आणि पैनगंगा येथे दोन मोठी धरणे आणि इतर ३२ लहान धरणे बांधावीत, २५ लक्ष एकर जमिनीचे तालीकरण करावे, सिंचन आणि जलविद्युत प्रकल्प सुरू करावेत, नालाबांधणीची कामे हाती घ्यावीत, तसेच सूत, कापड, तेल व साखर उद्योग सुरू करावेत अशा मागण्या होत्या. २५०० किलोमीटर रस्तेबांधणी हाती घ्यावी, लोहमार्गांचे जाळे विकसित करावे, तसेच शिक्षणासाठी विद्यापीठ व वैद्यकीय, अभियांत्रिकी आणि शेतकी महाविद्यालये सुरू करावीत अशीही मागणी करण्यात आली होती.

१९५५ साली सादर केलेले निवेदन हे मराठवाड्याच्या विकास चळवळीतील एक महत्त्वाचा टप्पा ठरले. गोविंदभाईंनी पक्षभेद बाजूला ठेवून कार्यकर्त्यांना एकत्र आणले आणि ‘मराठवाडा विकास मंडळ’ स्थापन झाले. मार्च १९५६ मध्ये मंडळाचे पहिले संमेलन झाले. या संमेलनाचे संयोजक गोविंदभाई तर अध्यक्ष बाबासाहेब परांजपे होते. संमेलनात ३५ कोटींचा विकासनिधी, ५०० खाटांचे इस्पितळ, विधी महाविद्यालय, औरंगाबाद येथे स्वतंत्र खंडपीठ, मराठवाड्यासाठी स्वतंत्र विद्यापीठ आणि तांत्रिक शिक्षण संस्थांची मागणी करण्यात आली. औरंगाबाद-परळी, सोलापूर-नांदेड आणि आदिलाबाद-माणिकगड या रेल्वेमार्गांचीही मागणी झाली. या मागण्यांसाठी धरणे धरून १९ मार्च १९५६ रोजी सरकारला निवेदन दिले गेले.

५ जून १९५६ रोजी मुख्यमंत्री बी. रामकृष्णराव यांनी निवेदनाचा विचार करून औरंगाबाद येथे वैद्यकीय आणि अभियांत्रिकी महाविद्यालय, परभणीत शेतकी महाविद्यालय, नांदेडला आयुर्वेद महाविद्यालय, लातूरला तंत्रनिकेतन आणि अंबाजोगाईला विज्ञान महाविद्यालय सुरू करण्याची घोषणा केली. मात्र विद्यापीठ स्थापनेचा निर्णय झाला नाही. निजाम काळात शिक्षणाचे माध्यम उर्दू होते. शालेय शिक्षण मराठीत नव्हते, आणि पदवी शिक्षणासाठी विद्यार्थ्यांना हैदराबादला जावे लागे. स्वातंत्र्यानंतर माध्यमात मराठी व इंग्रजी आले, पण अचानक झालेला हा बदल ग्रामीण विद्यार्थ्यांना कठीण वाटत होता.

उस्मानिया विद्यापीठाच्या परीक्षांमध्ये इतर भागांतील तुलनेत मराठवाड्याच्या विद्यार्थ्यांना मागे पडण्याचा धोका होता, कारण येथे उच्च शिक्षणाच्या सुविधा अपुऱ्या होत्या. त्यामुळे वेगळे विद्यापीठ आणि शिक्षण मंडळ हवे, ही गरज गोविंदभाईंनी ओळखली. मराठवाडा विकास मंडळातर्फे २९ जुलै १९५६ रोजी शिष्टमंडळाने मुख्यमंत्र्यांना भेट देऊन ही मागणी केली. तसेच हैदराबाद उच्च न्यायालयाचे खंडपीठ औरंगाबादला व्हावे, यासाठी ८ ऑक्टोबर १९५६ रोजी सरन्यायाधीशांची भेट घेण्यात आली. 

हैदराबाद राज्यातील तेलंगणा, मराठवाडा आणि कर्नाटक हे विभाग केवळ भाषेच्या दृष्टिकोनातूनच नव्हे, तर सामाजिक आणि सांस्कृतिक दृष्ट्याही परस्परांपेक्षा वेगळे होते. त्याचप्रमाणे, भौगोलिक, औद्योगिक, शेतीविषयक आणि इतर परिस्थितीतही हे भाग एकमेकांपासून पूर्णपणे भिन्न होते. त्यामुळे या तिन्ही विभागांच्या गरजाही स्वाभाविकपणे वेगवेगळ्या होत्या.

एकमेकांपासून इतक्या भिन्न असलेल्या या विभागांतील लोकांच्या गरजा पूर्ण करण्यासाठी हैदराबाद राज्याचे भाषिक आधारावर त्रिभाजन करून हे विभाग शेजारच्या समभाषिक राज्यांमध्ये समाविष्ट करणे आवश्यक आहे, असे स्वामी रामानंद तीर्थ आणि गोविंदभाई श्रॉफ यांचे स्पष्ट मत होते. महाराष्ट्र परिषदेने लातूर येथील परिषदेत, तसेच त्यानंतरही, याच आशयाचा ठराव मंजूर केला होता. मात्र, या त्रिभाजनाला काही मवाळ नेत्यांचा विरोध होता. पंडित नेहरूंनाही सुरुवातीला हे त्रिभाजन मान्य नव्हते.

तरीही स्वामीजी आणि गोविंदभाईंनी सातत्यपूर्ण प्रयत्न चालू ठेवले आणि अखेर त्यांच्या भूमिकेला यश मिळाले. १९५६ मध्ये हैदराबाद राज्याच्या त्रिभाजनावर शिक्कामोर्तब झाले. तेलुगु भाषिक भाग आंध्र प्रदेशात, कानडी भाषिक भाग कर्नाटकात, तर मराठी भाषिक मराठवाडा महाराष्ट्रात विलीन झाला.