کتابخانه PyTorch مدل ها را سریعتر و کوچکتر می کند

Torchao یک کتابخانه بومی PyTorch است که با استفاده از dtypes، sparsity و quantization با بیت کم، مدل‌های یادگیری ماشین را برای آموزش یا استنتاج سریع‌تر و کوچک‌تر می‌کند.

بنیاد PyTorch، سازندگان ماشین PyTorch چارچوب یادگیری، torchao را راه‌اندازی کرده است، یک کتابخانه بومی PyTorch که با استفاده از dtypes کم‌بیت، مدل‌ها را سریع‌تر و کوچک‌تر می‌کند. پراکندگی و کوانتیزاسیون تیم PyTorch گفت، این مجموعه ابزاری از تکنیک ها است که هم آموزش و هم استنتاج را در بر می گیرد.

torchao که در تاریخ ۲۶ سپتامبر از رونمایی شد، با torch.compile() کار می کند. > و FSDP2 روی اکثر مدل‌های PyTorch در Hugging Face. یک کتابخانه برای انواع داده‌های سفارشی و بهینه‌سازی، torchao برای کوچک‌تر کردن مدل‌ها و سریع‌تر کردن مدل‌ها برای آموزش یا استنتاج خارج از جعبه قرار گرفته است. کاربران می‌توانند وزن‌ها، گرادیان‌ها، بهینه‌سازها و فعال‌سازی‌ها را برای استنباط و آموزش کمی و کوچک کنند. به گفته تیم پایتورچ، کتابخانه torchao به عنوان یک ابزار در دسترس از تکنیک‌هایی عمل می‌کند که عمدتاً در کد PyTorch آسان برای استنتاج و آموزش نوشته شده‌اند. torchao.float8 ویژه برای تسریع آموزش با float8 در PyTorch بومی است.