Galeria Abrangente Cataloga 93 Arquiteturas de LLM

Uma galeria de arquitetura de modelos de linguagem se expandiu para documentar 93 diferentes designs de modelos em 42 fontes técnicas, incluindo arquiteturas densas como GPT-2 e Llama 3, modelos mixture-of-experts como DeepSeek V3 e Kimi K2, e abordagens híbridas que combinam atenção com camadas recorrentes ou state-space. Cada ficha de modelo inclui diagramas de arquitetura detalhados, especificações técnicas incluindo comprimento de contexto e estimativas de cache KV, e links para papers e implementações originais.