Na tak postawione pytanie można krótko odpowiedzieć, parafrazując nieśmiertelnego kaowca z „Rejsu”: Właściwie musi, to znaczy nie musi.  
SZKLANKA – jako nazwa – jest szklana i z definicji, i z pochodzenia. Zgodnie z definicją słownikową SZKLANKA to ‘szklane, walcowate naczynie o pojemności około 1/4 litra, przeznaczone do picia z niego napojów; też: zawartość takiego naczynia’ [SJP PWN; USJP; ISJP], ‘małe naczynie szklane do picia napojów, także jego zawartość’ [SJP Dor]. Jedynie słowniki poprawnościowe rezygnują z określenia ‘szklane’, pozostając przy samym hiperonimie ‘naczynie’ [NSPP; WSPP]. Pochodzenie słowa jest nierozerwalnie związane z przymiotnikiem SZKLANY. SZKLANKA to uniwerbizacja utworzona od wyrażenia ‘szklana czarka’: szklana czarka > szklanka. Przymiotnik SZKLANY jest więc niejako zawarty w rzeczowniku SZKLANKA. Czy zatem takie połączenie jak PLASTIKOWA SZKLANKA jest niepoprawne albo głupie, albo niewłaściwe? Wcale nie. 
SZKLANKA – jako przedmiot – zazwyczaj bywa szklana, ale współcześnie coraz częściej się zdarza, że będzie wykonana z innego materiału niż szkło, np. z metalu, z plastiku czy innego tworzywa sztucznego. I tak samo jak mamy MASŁO ROŚLINNE, KOLOROWĄ BIELIZNĘ (słowo BIELIZNA pochodzi od przymiotnika BIAŁY) czy GOTOWANE WĘDLINY (słowo WĘDLINA pochodzi od czasownika WĘDZIĆ), tak samo możemy mieć PLASTIKOWE SZKLANKI czy METALOWE SZKLANKI. Można upierać się, że takie połączenia to oksymorony, można też twierdzić, że w języku często sięgamy po metonimię, a znaczenia słów zarówno się zawężają, jak i rozszerzają, porzucając związki genetyczne ze słowami, od których pochodzą. 
Jeśli jednak kogoś mimo wszystko razi połączenie PLASTIKOWA SZKLANKA, to zawsze może zamienić słowo SZKLANKA na KUBEK lub KUBECZEK.