ELMo
Modelo de AI2 de representaciones de palabras contextualizadas en profundidad, anterior a la era de los transformers
ELMo, siglas de Embeddings from Language Models, salió del Allen Institute for AI y de la Universidad de Washington en febrero de 2018, descrito en el artículo «Deep Contextualized Word Representations», de Matthew Peters, Mark Neumann y coautores. En lugar de asignar a cada palabra un único vector fijo, como hacían embeddings anteriores como word2vec y GloVe, ELMo pasa una LSTM bidireccional por la frase y produce una representación de cada palabra que depende del contexto que la rodea, de modo que la misma palabra recibe un vector distinto según cómo se use. Entrenado con unos mil millones de palabras, mejoró los resultados en seis tareas de NLP de la época, entre ellas la respuesta a preguntas y el reconocimiento de entidades con nombre, al incorporarlo como rasgo en modelos ya existentes. ELMo es anterior a la arquitectura transformer y BERT y sus sucesores lo dejaron atrás en gran medida en cerca de un año desde su publicación, pero sigue citándose como uno de los modelos que fijaron las representaciones contextuales de palabras como el enfoque habitual en NLP.