Existem alguns passos que você precisa saber para criar um Sistema Operacional.
1º) APRENDA A PROGRAMAR antes de começar. Linguagem Assembly é essencial, e outras linguagens suplementares de baixo nível como o C também são recomendadas.
2º) Decida a mídia que seu SO irá iniciar. Pode ser um CD, DVD, flash drive, HD ou outro PC.
3º) Decida o que você quer que o SO faça. Pode ser um SO completo com interfaces gráficas ou algo mais minimalista.
4º) Escolha a plataforma do processador que o SO irá suportar. x86 e x64 são os mais comuns.
5º) Decida se você irá iniciar do zero, ou se existe um kernel para você usar como base.
6º) Decida a interface de programação (API). Um bom exemplo é o POSIX.
Essas são algumas dicas para começar.
Boa sorte!
Att, Paulo Rocha MCP | MCDST | MCSA Server 2012