llamafile लोगो
Mozilla ने एका ब्लॉग पोस्टद्वारे घोषणा केली की, एलकंपाइलरचे प्रकाशन, ज्यात असे आहे अनेक मोठ्या भाषा मॉडेल्सचा वापर नाटकीयरित्या सुलभ करणे हे ध्येय आहे. (LLM) जवळजवळ कोणत्याही डेस्कटॉप किंवा सर्व्हरवर.
नवीन Mozilla प्रकल्प "llamafile" म्हणतात, तो एक मुक्त स्रोत कंपाइलर आहे जी GGUF फॉरमॅटमध्ये मशीन लर्निंग मॉडेल पॅरामीटर फाईल घेऊ शकते आणि तिला एक्झिक्यूटेबल फाईलमध्ये रूपांतरित करू शकते जी AMD64 आणि ARM64 हार्डवेअरवर सहा वेगवेगळ्या ऑपरेटिंग सिस्टिमवर चालू शकते.
आणि ते मला खोटे बोलू देणार नाहीत, पण स्थानिक वापरासाठी मोठ्या भाषेचे मॉडेल (LLM) सामान्यतः विविध संचांमध्ये वितरीत केले जातात, जे या प्रत्येक फाइलचे वजन सहसा अनेक गीगाबाइट्स असते. या फायली थेट वापरण्यायोग्य नाहीत, जे इतर प्रकारच्या सॉफ्टवेअरच्या तुलनेत त्याचे वितरण आणि अंमलबजावणी क्लिष्ट करते. याव्यतिरिक्त, विशिष्ट मॉडेलमध्ये बदल आणि समायोजन केले जाऊ शकतात, ज्यामुळे भिन्न आवृत्त्या वापरताना भिन्न परिणाम मिळतात.
Mozilla ने हे लक्षात आणून दिले, या प्रकरणावर कारवाई केली आणि या आव्हानाला तोंड देण्यासाठी, Mozilla च्या इनोव्हेशन ग्रुपने "llamafile" लाँच केले आहे. जे, वर नमूद केल्याप्रमाणे, एक कंपाइलर आहे जे LLM ला एका बायनरी फाइलमध्ये रूपांतरित करते जे अतिरिक्त इंस्टॉलेशनची गरज न ठेवता सहा वेगवेगळ्या ऑपरेटिंग सिस्टम्सवर (macOS, Windows, Linux, FreeBSD, OpenBSD आणि NetBSD) चालू करण्यास सक्षम आहे. हे समाधान LLM चे वितरण आणि अंमलबजावणी मोठ्या प्रमाणात सुलभ करते, तसेच कालांतराने LLM च्या विशिष्ट आवृत्तीची सुसंगतता आणि पुनरुत्पादकता सुनिश्चित करते.
llamafile कंपाइलर बद्दल, तो उल्लेख आहे llama.cpp (ओपन सोर्स LLM चॅटबॉट फ्रेमवर्क) आणि कॉस्मोपॉलिटन Libc हे दोन प्रकल्प एकत्र करून तयार केले गेले. (एक मुक्त स्त्रोत प्रकल्प जो तुम्हाला अनेक प्लॅटफॉर्म आणि आर्किटेक्चर्सवर C प्रोग्राम्स संकलित आणि चालवण्याची परवानगी देतो). अंमलबजावणी दरम्यान, Mozilla ने नमूद केले आहे की तिला मनोरंजक आव्हानांचा सामना करावा लागला आणि नमूद केलेली उद्दिष्टे साध्य करण्यासाठी कॉस्मोपॉलिटनची व्याप्ती लक्षणीयरीत्या वाढवावी लागली.
आमचे उद्दिष्ट हे आहे की मोठ्या ओपन सोर्स लँग्वेज मॉडेल्सना डेव्हलपर आणि अंतिम वापरकर्ते दोघांनाही अधिक प्रवेशयोग्य बनवणे. आम्ही llama.cpp आणि कॉस्मोपॉलिटन Libc ला एका फ्रेमवर्कमध्ये एकत्रित करून हे करत आहोत जे LLM ची सर्व जटिलता एका एक्झिक्युटेबल फाइलमध्ये (ज्याला "llamafile" म्हणतात) संकुचित करते जी बहुतेक संगणकांवर इंस्टॉलेशनशिवाय स्थानिक पातळीवर चालते.
असे नमूद केले आहे llamafile चे मुख्य उद्दिष्ट एकापेक्षा जास्त CPU मायक्रोआर्किटेक्चर्सवर चालण्यास सक्षम असणे हे होते. येथेच llama.cpp नवीन इंटेल प्रणालींना जुन्या संगणकांना समर्थन न देता आधुनिक प्रोसेसरची वैशिष्ट्ये वापरण्याची परवानगी देते, तर AMD64 आणि ARM64 साठी हे शेल स्क्रिप्ट वापरून एकत्रित केले जाते जे योग्य आवृत्ती सुरू करते. फाइल स्वरूप WIN32 आणि बहुतेक UNIX शेल्सशी सुसंगत आहे.
एलएलएम फायलींच्या वजनाचा मुद्दा हा संबोधित करण्यात आलेला आणखी एक आव्हान होता., जी llamafile मध्ये समाकलित केली जाऊ शकते, GGML लायब्ररीमध्ये PKZIP साठी समर्थन दिल्याबद्दल धन्यवाद. हे सेल्फ-एक्सट्रॅक्टिंग फाइल म्हणून, असंपीडित वजनांना थेट मेमरीमध्ये मॅप करण्यास अनुमती देते आणि ऑनलाइन वितरीत केलेल्या क्वांटाइज्ड वजनांना.cpp नावाच्या सॉफ्टवेअरच्या सुसंगत आवृत्तीद्वारे प्रीफिक्स करण्यास अनुमती देते, हे सुनिश्चित करते की मूळपणे पाहिलेले वर्तन अनिश्चित काळासाठी पुनरुत्पादित केले जाऊ शकते.
समजा तुमच्याकडे 4 GB फाईलच्या स्वरूपात LLM वजनाचा संच आहे (सामान्यतः वापरल्या जाणार्‍या GGUF फॉरमॅटमध्ये). llamafile सह तुम्ही ती 4GB फाईल बायनरीमध्ये बदलू शकता जी इंस्टॉलेशनशिवाय सहा ऑपरेटिंग सिस्टमवर चालते.
शेवटी, हे नमूद केले पाहिजे Mozilla ने प्रकल्प लाँच केला C/C++ मध्ये लिहिलेले आणि Apache परवान्याअंतर्गत वितरीत केलेले «llamafile», जे GPL सारख्या परवान्यांच्या तुलनेत संसाधनांच्या वापराच्या पद्धती आणि उपलब्धतेच्या बाबतीत कमी निर्बंध सूचित करते.
साठी म्हणून याबद्दल अधिक जाणून घेण्यात स्वारस्य आहे प्रकल्प किंवा आधीपासून ते वापरू इच्छित असल्यास, आपण येथे वापरण्यासाठी तपशील आणि/किंवा द्रुत मार्गदर्शकाचा सल्ला घेऊ शकता खालील दुवा.