Todo mundo que começa a aprender Libras, cedo ou tarde passa por essa situação. Seja por falta de confiança, vergonha de sinalizar, ou por medo de não entender o que o surdo irá sinalizar., etc. E muita gente, ao passar por isso, evita se comunicar com os surdos quando surgem novas chances, perdendo oportunidades valiosas de praticar e chegar à fluência.
Aprender Libras, assim como qualquer outro aprendizado, exige treino, e quanto mais você pratica, maior será o seu retorno. Consequentemente, quanto mais tempo você passar sem treinar, mais você vai esquecendo os sinais, perdendo a naturalidade na hora de sinalizar, etc.

Há uns dias atrás enquanto fazia musculação, senti uma cãibra, e fui pesquisar quais as possíveis causas. Então vi que isso era uma reação à falta de duas substâncias no organismo que eu não estava ingerindo.
No processo de aprendizado da Libras, é parecido. Na maioria dos casos em que se trava na frente dos surdos, é porque falta uma substância: o vocabulário. Você não tem vocabulário suficiente pra entender o surdo, nem pra sinalizar de volta.

E pra resolver esse problema, você precisa analisar em qual contexto você sabe menos sinais, se é no contexto religioso, político, escolar, médico, etc., e a partir disso, começar a incluir sinais desse contexto no seu vocabulário constantemente.
Se seu "ponto fraco" é no sentido religioso, comece a incluir sinais contexto, como "salvação", "fé", "integridade"...
Após aprender os sinais, comece a aplicá-los em conversas do dia-a-dia, pois isso vai ajudar a memorizá-los com mais rapidez e facilidade, e como em qualquer outra atividade, esse treino frequente levará você de uma antiga zona de conforto para um nível onde sua sinalização durante uma conversa já fluirá naturalmente.