Transaksi ini menegaskan komitmen Red Hat untuk membantu pelanggan menghadirkan berbagai aplikasi atau beban kerja – termasuk AI – di mana saja di hybrid cloud, mulai dari on premise hingga public cloud, hingga edge.
Neural Magic menyediakan keahliannya dalam performance engineering AI generatif, algoritma optimasi model terbaik, dan inference GPU dan CPU berperforma tinggi.
JAKARTA, ( Waspada); Indonesia – 6 Desember 2024 —Red Hat, Inc., penyedia solusi open source terkemuka di dunia, hari ini mengumumkan penandatanganan kesepakatan definitif untuk mengakuisisi Neural Magic, pelopor dalam software dan algoritma yang mempercepat beban kerja inferensi AI generatif (gen AI). Keahlian Neural Magic dalam inferensi performance engineering dan komitmennya terhadap open source selaras dengan visi Red Hat mengenai beban kerja AI berperforma tinggi yang secara langsung memetakan kasus penggunaan dan data yang spesifik bagi pelanggan, di mana saja di seluruh hybrid cloud.
Sementara janji gen AI mendominasi sebagian besar lanskap teknologi saat ini, model large language models (LLM) yang menopang sistem ini terus bertambah besar. Akibatnya, pengembangan layanan LLM yang hemat biaya dan andal membutuhkan daya komputasi, sumber daya energi, dan keterampilan operasional khusus yang signifikan. Tantangan-tantangan ini secara efektif membuat manfaat-manfaat AI yang bisa disesuaikan, siap digunakan, dan lebih memperhatikan keamanan, berada di luar jangkauan sebagian besar perusahaan.
Red Hat ingin menjawab semua tantangan tersebut dengan menjadikan gen AI lebih bisa diakses oleh lebih banyak perusahaan melalui inovasi terbuka vLLM. Dikembangkan oleh UC Berkeley, vLLM adalah proyek open source yang digerakkan komunitas untuk open model serving (bagaimana model gen AI menyimpulkan dan memecahkan masalah), yang men-support semua keluarga model utama, riset percepatan inferensi mutakhir, dan hardware backend yang berbeda, di antaranya AMD GPU, AWS Neuron, Google TPU, Intel Gaudi, NVIDIA GPU, dan x86 CPU.
Kepemimpinan Neural Magic di proyek vLLM digabungkan dengan portofolio teknologi hybrid cloud AI yang kuat dari Red Hat, akan menawarkan perusahaan jalur terbuka untuk membangun strategi AI yang memenuhi kebutuhan unik mereka, di mana pun data mereka berada.
Red Hat + Neural Magic: Meraih masa depan gen AI yang hybrid cloud-ready
Neural Magic lahir dari MIT tahun 2018 dengan tujuan membangun software inferensi yang unggul untuk deep learning. Dengan teknologi dan keahlian Neural Magic dalam performance engineering, Red Hat menargetkan untuk mempercepat visinya untuk masa depan AI, didukung oleh portofolio teknologi AI Red Hat. Dibangun untuk mengatasi tantangan enterprise AI dalam skala besar, Red Hat menggunakan inovasi open source untuk lebih mendemokratisasi akses ke kekuatan transformatif AI melalui:
Model berlisensi open source, mulai dari skala parameter 1B hingga 405B, yang bisa berjalan di mana saja dia dibutuhkan di seluruh hybrid cloud – di pusat data korporasi, di sejumlah cloud, dan edge.
Menyempurnakan kemampuan yang memungkinkan perusahaan untuk dengan lebih mudah menyesuaikan LLM dengan data privat dan kasus penggunaan mereka, disertai dengan security footprint yang lebih kuat;
Keahlian performance engineering inferensi, yang menghasilkan efisiensi yang lebih besar dalam operasional dan infrastruktur; dan
Ekosistem mitra dan open source, dan struktur sistem support yang memberikan lebih banyak pilihan kepada pelanggan, dari LLM dan tooling hingga hardware server tersertifikasi serta arsitektur chip yang mendasarinya.
Kepemimpinan vLLM untuk meningkatkan AI Red Hat
Neural Magic memanfaatkan keahlian dan pengetahuan vLLM untuk membangun inference stack kelas enterprise yang memampukan pelanggan mengoptimalkan, menjalankan, dan mengembangkan beban kerja LLM di seluruh lingkungan hybrid cloud dengan kontrol penuh terhadap pilihan infrastruktur, kebijakan keamanan dan lifecycle model. Neural Magic juga mengembangkan riset optimasi model, membangun LLM Compressor (library terpadu untuk mengoptimalkan LLM dengan algoritma ketersebaran (sparsity) dan kuantisasi mutakhir) dan menjalankan repository yang berisi model yang sudah dioptimalkan dan siap di-deploy dengan vLLM.
Red Hat ingin membantu pelanggan mengurangi biaya AI dan hambatan skill melalui penggunaan teknologi yang powerful, termasuk:
Red Hat Enterprise Linux AI (RHEL AI), platform model dasar untuk mengembangkan, menguji, dan menjalankan keluarga IBM Granite dari LLM open source untuk aplikasi enterprise di deployment server Linux;
Red Hat OpenShift AI, platform AI yang menyediakan tool untuk dengan cepat mengembangkan, melatih, melayani dan mengawasi model machine learning di seluruh lingkungan Kubernetes yang terdistribusi di on-site, di public cloud atau di edge; dan
InstructLab, proyek komunitas AI open source yang mudah diakses, diciptakan oleh Red Hat dan IBM supaya siapa saja dapat membentuk masa depan gen AI melalui peningkatan kolaboratif Granite LLM berlisensi open source menggunakan teknologi mutakhir InstructLab.
Kepemimpinan teknologi Neural Magic dalam vLLM akan meningkatkan kemampuan AI Red Hat dalam mendukung penerapan LLM di mana saja di seluruh hybrid cloud dengan inference stack yang siap pakai, sangat optimal dan terbuka.
Transaksi ini tunduk pada tinjauan regulasi yang berlaku dan persyaratan customary closing.(m28)
Update berita terkini dan berita pilihan kami langsung di ponselmu. Pilih saluran favoritmu akses berita Waspada.id WhatsApp Channel : https://whatsapp.com/channel/0029VaZRiiz4dTnSv70oWu3Z dan Google News Pastikan kamu sudah install aplikasi WhatsApp dan Google News ya.
