विठ्ठलपंत तीर्थयात्रा करत करत आळंदी मुक्कामी येऊन स्थायिक झाले. त्या काळी संन्यास्याची मुले म्हणून सर्व समाज या चौघा भावंडांची हेटाळणी करीत असे. गावाने त्यांना व त्यांच्या कुटुंबाला वाळीत टाकले. परित्यक्त ब्राह्मण म्हणून त्यांना काळ कंठावा लागला. ज्ञानेश्वर व त्यांच्या भावंडांची मुंज करण्याचे आळंदीच्या ब्राह्मणांनी नाकारले. त्यावर विठ्ठलपंतांनी उपाय काय असे धर्मशास्त्रींना विचारले. त्यावर केवळ देहदंडाचीच शिक्षा आहे असे ब्राह्मणांनी सांगितले. मुले संस्कारांपासून वंचित राहू नये व त्यांचे भविष्यात भले व्हावे यासाठी विठ्ठलपंतानी व रुक्मिणीबाई यांनी आत्महत्या करून देहान्त प्रायश्चित्त घेतले.