Google API LLM ها را به دستگاه های اندروید و iOS می آورد

Experimental MediaPipe LLM Inference API به توسعه دهندگان این امکان را می دهد که مدل های زبان بزرگ را «روی دستگاه» در سراسر Android، iOS و پلتفرم های وب اجرا کنند.

Google یک API آزمایشی منتشر کرده است که به مدل‌های زبان بزرگ اجازه می‌دهد به طور کامل روی دستگاه در سراسر Android، iOS، و پلتفرم‌های وب اجرا شوند.

MediaPipe LLM Inference API که در ۷ مارس معرفی شد، برای ساده‌سازی یکپارچه‌سازی LLM روی دستگاه برای توسعه‌دهندگان وب طراحی شده است و از پلتفرم‌های وب، اندروید و iOS پشتیبانی می‌کند. API پشتیبانی اولیه را برای چهار LLM ارائه می دهد: Gemma، Phi 2، Falcon، و LM پایدار.

Google هشدار می‌دهد که API آزمایشی است و هنوز در حال توسعه فعال است، اما به محققان و توسعه‌دهندگان این امکان را می‌دهد که نمونه‌های اولیه و آزمایش مدل‌های آزادانه موجود در دستگاه را داشته باشند. برای اندروید، گوگل اشاره کرد که برنامه‌های تولیدی با LLM می‌توانند از Gemini API یا Gemini Nano روی دستگاه از طریق Android AICore استفاده کنند، قابلیتی در سطح سیستم که در Android 14 معرفی شده است و راه‌حل‌های مجهز به Gemini را برای دستگاه‌های پیشرفته از جمله ادغام با شتاب‌دهنده‌ها ارائه می‌دهد. فیلترهای ایمنی و آداپتورهای LoRA.

برنامه‌نویسان می‌توانند MediaPipe LLM Inference API را از طریق نمونه برنامه های نمایشی. یک نمونه رسمی در GitHub موجود است. API به توسعه دهندگان اجازه می دهد تا با استفاده از SDK های مخصوص پلتفرم، LLM ها را در چند مرحله روی دستگاه بیاورند. گوگل گفت: از طریق بهینه‌سازی‌های قابل توجه، API می‌تواند با تمرکز بر CPU و GPU برای پشتیبانی از چندین پلتفرم، آخرین تاخیر را در دستگاه ارائه دهد. این شرکت قصد دارد در سال آینده API را به پلتفرم‌ها و مدل‌های بیشتری گسترش دهد.