Apresentação: Produzindo os tokens mais baratos do mundo: um guia de instruções

Meryem Arik discute estratégias para projetar arquiteturas de inferência LLM de baixo custo para cargas de trabalho de alto volume e não em tempo real. Ela explica como arquitetos de software e líderes de engenharia podem alcançar reduções de custos de ordem de magnitude, fazendo concessões críticas em hardware, tempos de execução de inferência, decodificação especulativa e reordenamento inteligente de filas. Por Meryem Arik

Tradução automática do material divulgado por InfoQ. O texto completo está na fonte, no link acima.