Apple está en conversaciones con PrismML para ejecutar modelos de IA en el iPhone.

Apple está en conversaciones iniciales con PrismML para ejecutar modelos de IA directamente en el iPhone, según dijo a CNBC el CEO de PrismML, Babak Hassibi. Las discusiones son preliminares y aún no está claro el rumbo, aunque Hassibi afirmó que “las cosas están progresando bien”. PrismML lanzó el martes su modelo Bonsai 27B, que comprime un modelo de 27.800 millones de parámetros desde unos 54GB hasta 3,9GB, almacenando cada peso como uno o tres valores posibles en lugar de 16 bits. Con ese tamaño, la compañía dijo que funciona en un iPhone 15 o posterior. PrismML indicó que usa de 3 a 6 veces menos energía y responde de 6 a 8 veces más rápido, con una caída de pocos puntos en precisión y degradación de conocimiento factual. Hay dos variantes: 1 bit (~4GB) y 1,58 bits; ambas con licencia Apache 2.0. La compañía señaló a Gemma como siguiente objetivo. Apple no comentó.