Kog profundiza en el uso de GPUs para mejorar la inferencia en inteligencia artificial

Kog asegura que todavía puede extraerse más rendimiento de las GPUs convencionales para acelerar la inferencia de IA. La startup, que apareció en la portada de Hacker News en mayo, mostró que la “decodificación extremadamente rápida de solicitudes únicas” es posible en GPUs estándar de centros de datos ya existentes, usando AMD MI300X y Nvidia H200. Tras el interés, la empresa recibió 200 leads comerciales tangibles, según su CEO Gaël Delalleau. El primer caso de uso esperado es software e infraestructura, especialmente para clientes que hoy esperan horas para obtener resultados con productos como Claude Code, donde Anthropic cobra un múltiplo por el modo rápido. Kog busca acelerar modelos grandes: prometió “30x más rápido” y demostró 3.000 TPS con Laneformer 2B, de 2 mil millones de parámetros.