Nel 2013 la Directory of Open Access Journals (DOAJ) ha modificato completamente i criteri di inclusione e il processo di valutazione delle riviste, iniziando a rimuovere quelle che non rispettano tali criteri. Il presente studio ha esaminato i risultati del nuovo processo e la sua capacità di migliorare la qualità della directory e l'affidabilità delle informazioni che contiene. Un dataset di 12.595 riviste incluse in DOAJ dal lancio nel 2002 fino al 15 maggio 2016 è stata creato ed esaminato in rapporto ad altri dati. Le riviste eliminate da DOAJ durante il periodo considerato sono 3.776; la maggior parte (2.851 riviste) sono state rimosse poiché gli editori non sono riusciti a completare in tempo il procedimento di reapplication; 490 sono cessato o comunque inattive; 375 sono state escluse per questioni etiche; 53 perché non erano più ad accesso libero o erano sotto embargo, le ultime 7 per altri motivi. I primi cinque paesi sede di editore, per percentuale di riviste rimosse, sono il Giappone (74% delle riviste rimosso), Pakistan (60%), Canada (51%), Stati Uniti (50%), Messico (49%). I confronti hanno dimostrato che 158 riviste rimossi sono stati incluse nelle liste di Beall; 1.130 rivista indicizzate in DOAJ sono incluse in Scopus e/o JCR. L'analisi dimostra che vi è un miglioramento della qualità di ufficiale indicizzati in DOAJ rispetto al passato, grazie ai nuovi criteri di accettazione e al processo di screening effettuato dai gruppi nazionali e dalla nuova gestione.