Na początek ceglasta literatura "Podstawy Systemów Operacyjnych", Abraham Silberschatz,
Do tego należałoby dodać tanenbauma, strukturalną organizację systemów komputerowych, ale to nie koniecznie.
Temat szeroki jak ocean, ponieważ odnosi się praktycznie do każdego aspektu programowania.
Do tego polecałbym, wszelakie artykuły na temat kompromitacji androida od wersji 2.2 w górę ze strony www.phrack.org
Naprawdę dużo można wynieść, najciekawsze perełki wyjaśniające jak działa system, są głównie w artach o rootkitach.
Wszystko w jez. angielskim, ale z tym raczej nie masz problemu.
Tworzenie własnego systemu, tj. jądra jest bezsensem, może że potrzebujesz konkretnej małej jednostki, wszystko to możesz jednak osiągnać odpowiednio kompilując jądro linux'a czego chyba najlepszym przykładem jest android i iOS.