52-åringen har varit i hetluften den senaste tiden efter att en 26 år gammal tidningsintervju, i vilken Oyamada erkände att han mobbat några klasskamrater, lagts ut på sociala medier.
I intervjun från 1995 bad Oyamada om ursäkt för sitt beteende under skoltiden.
I ett inlägg på Twitter skriver Oyamada, som också kallar sig för Cornelius, att han tagit till sig av kritiken och därför lämnar uppdraget.
Det är oklart om Oyamadas beslut leder till att hans musik tas bort ur invigningsprogrammet.
OS-invigningen är på fredag.