Pruna AI তার এআই মডেল অপটিমাইজেশন ফ্রেমওয়ার্ক ওপেন সোর্স করেছে। Pruna এআই একটি ইউরোপীয় স্টার্টআপ, যা এআই মডেলগুলির জন্য সংকোচন অ্যালগরিদম তৈরি করছে, তার অপটিমাইজেশন ফ্রেমওয়ার্ক আজ, বৃহস্পতিবার ওপেন সোর্স করছে। Pruna এআই একটি ফ্রেমওয়ার্ক তৈরি করেছে যা বিভিন্ন দক্ষতা পদ্ধতি, যেমন ক্যাশিং, প্রুনিং, কুয়ান্টাইজেশন এবং ডিস্টিলেশন, একটি নির্দিষ্ট এআই মডেলে প্রয়োগ করে। Pruna এআই-এর সহ-প্রতিষ্ঠাতা এবং সিটিও জন রাচওয়ান টেকক্রাঞ্চকে বলেন, “আমরা মডেলগুলো সংরক্ষণ এবং লোড করার পদ্ধতি স্ট্যান্ডার্ডাইজ করি, সংকুচিত মডেলের মূল্যায়ন করার পরে, এবং এইসব সংকোচন পদ্ধতিগুলোর সংমিশ্রণ প্রয়োগ করি।” বিশেষভাবে, প্রুনা এআই-এর ফ্রেমওয়ার্ক নির্ধারণ করতে পারে যে, মডেল সংকুচিত করার পরে কি কোন মানের ক্ষতি হয়েছে এবং আপনি যে কার্যকারিতা লাভ করেছেন তা কতটুকু। তিনি আরও বলেন, “যদি আমি একটি রূপক ব্যবহার করি, আমরা হাগিং ফেসের মতোই কাজ করছি, যেভাবে তারা ট্রান্সফর্মার এবং ডিফিউজার মডেলগুলোকে স্ট্যান্ডার্ডাইজ করেছে, আমরা ঠিক তেমনি, তবে দক্ষতা পদ্ধতিগুলোর জন্য।” বড় বড় এআই গবেষণাগার ইতিমধ্যেই বিভিন্ন সংকোচন পদ্ধতি ব্যবহার করছে। যেমন, ওপেনএআই ডিস্টিলেশন পদ্ধতির মাধ্যমে তার প্রধান মডেলগুলোকে দ্রুততর করেছে। এর উদাহরণ হলো GPT-4 টার্বো, যা GPT-4-এর একটি দ্রুততর সংস্করণ। ডিস্টিলেশন একটি পদ্ধতি যা একটি বড় মডেল থেকে জ্ঞান বের করার জন্য ব্যবহৃত হয়। “শিক্ষক-শিক্ষার্থী” মডেলের মাধ্যমে, ডেভেলপাররা একটি শিক্ষক মডেলকে প্রশ্ন পাঠান এবং সেই আউটপুটগুলি ব্যবহার করে ছাত্র মডেলটি শেখানো হয়। Pruna এআই-এর ফ্রেমওয়ার্ক যেকোনো ধরনের মডেলকে সমর্থন করে, তবে বর্তমানে তারা বিশেষভাবে চিত্র এবং ভিডিও উৎপাদন মডেলগুলির ওপর বেশি মনোযোগ দিচ্ছে। Pruna এআই-এর কিছু বিদ্যমান ব্যবহারকারী হলো Scenario এবং PhotoRoom । ওপেন সোর্স সংস্করণের পাশাপাশি, Pruna এআই একটি এন্টারপ্রাইজ অফারও রয়েছে, যেখানে উন্নত অপটিমাইজেশন বৈশিষ্ট্যসহ একটি অপটিমাইজেশন এজেন্ট রয়েছে। রাচওয়ান বলেন, “আমরা যে সবচেয়ে উত্তেজনাপূর্ণ বৈশিষ্ট্যটি শীঘ্রই মুক্তি দেব তা হলো একটি কমপ্রেশন এজেন্ট। আপনি যখন আপনার মডেলটি দেবেন এবং বলবেন ‘আমি আরো গতি চাই, কিন্তু আমার সঠিকতা ২% এর বেশি কমতে দিব না’, তখন এজেন্টটি তার জাদু করবে।” Pruna এআই প্রতি ঘণ্টা ভিত্তিতে তার প্রো সংস্করণ চার্জ করে। এটি ঠিক তেমনি, যেমন আপনি AWS বা অন্য কোন ক্লাউড সেবায় GPU ভাড়া নেন। এছাড়া, যদি আপনার মডেলটি আপনার এআই অবকাঠামোর একটি গুরুত্বপূর্ণ অংশ হয়, তাহলে আপনি সংকুচিত মডেল ব্যবহার করে অনেক অর্থ সাশ্রয় করতে পারবেন। উদাহরণস্বরূপ, Pruna এআই তাদের সংকোচন ফ্রেমওয়ার্ক ব্যবহার করে Llama মডেলটিকে ৮ গুণ ছোট করেছে এবং খুব বেশি মানের ক্ষতি হয়নি। প্রুনা এআই আশা করছে, তাদের গ্রাহকরা তাদের সংকোচন ফ্রেমওয়ার্কটি একটি বিনিয়োগ হিসেবে দেখবে, যা নিজের জন্য টাকা ফেরত পাবে। Pruna এআই গত কয়েক মাসে একটি $৬.৫ মিলিয়ন সিড ফান্ডিং রাউন্ড তুলেছে। স্টার্টআপটির বিনিয়োগকারীরা হলো EQT Ventures, Daphni, Motier Ventures এবং Kima Ventures।
