Хотя это не совсем то, что вы описываете, вы проводили поиски в Google кластеров или кластерных решений? На самом деле в кластере нет ни одной ОС, работающей поверх всех систем, но они построены таким образом, чтобы каким-то образом прозрачно делиться работой или данными. Это, вероятно, настолько близко, насколько вы реально получите то, что вы описываете.
Взгляните на движение NoSQL, так как существует много связанных действий в отношении автоматического переноса данных с возможностью удаления и добавления систем по желанию. Вы можете прочитать о теореме CAP, вот ссылка, которую я нашел: http://blog.nahurst.com/visual-guide-to-nosql-systems
Все это может быть довольно сложным, и не существует единственного лучшего решения. Как всегда, вам нужно найти решение, которое лучше всего подходит для вашего случая использования.