هذیانهای قدیمی: یک توسعهدهنده تنها، آخر هفتهای را صرف تلاش برای اجرای مدل زبان بزرگ Llama 2 بر روی ماشینهای قدیمی مبتنی بر داس کرد. به لطف کد منبع باز در دسترس، این پروژه در نهایت موفقیتآمیز بود. با این حال، تطبیق Llama 2 با محیط باستانی داس کار آسانی نبود.
یئو کنگ منگ (Yeo Kheng Meng)، برنامهنویسی که پیشتر به خاطر ساخت یک کلاینت داس برای ChatGPT شناخته میشد، اخیراً پروژهای جدید مرتبط با هوش مصنوعی را با تمرکز بر محیط محاسباتی مبتنی بر فرمان (prompt-based) گذشته آغاز کرده است. آخرین تلاش او یک مدل زبان بزرگ (LLM) کاملاً مبتنی بر داس است که وظایف استنتاج را به صورت آفلاین انجام میدهد.
پروژه FreeDOS اشاره میکند که منگ کلاینت داس LLM را با استفاده از مدل Llama 2 شرکت متا، که در سال 2023 منتشر شد، توسعه داده است. این برنامهنویس نرمافزار را بر روی سیستمهایی با قطعات قدیمیتر و جدیدتر آزمایش کرد و مقایسه عملکرد چشمگیری را بین Thinkpad T42 (ساختهشده در سال 2004) و Toshiba Satellite 315CDT (ساختهشده در سال 1996) ارائه داد. جای تعجب نیست که اجرای LLM بر روی سیستم قدیمیتر زمان زیادی طول کشید.
او یک LLM داس کامل را با کمک llama2.c توسعه داد، یک پروژه منبع باز که برای پورت سریع مدلهای Llama 2 به سیستمها و پلتفرمهای سختافزاری مختلف طراحی شده است. منگ توضیح داد که با وجود اینکه llama2.c برای قابلیت حمل نوشته شده است، همچنان نیاز به برخی تنظیمات کدنویسی برای مقابله با چالشهای محیطهای محاسباتی قدیمی دارد.
این برنامهنویس مجبور شد گسترشدهنده داس مناسبی را برای دسترسی به فضای رم بزرگتر از 640 کیلوبایت حافظه معمولی سنتی انتخاب کند. او همچنین مجبور شد کامپایلر OWC را تغییر دهد زیرا llama2.c نیاز به یک کامپایلر C با ویژگیهای نسبتاً مدرن دارد. پس از تنظیم فرآیند کامپایل، منگ یک باینری llama2 کاملاً کارآمد ایجاد کرد که بر روی سیستمهای داس او اجرا میشد.
این برنامهنویس چندین سیستم را که MS-DOS 6.22 را اجرا میکردند، از یک کامپیوتر 486 DX2 66MHz قدیمی تا یک دسکتاپ مدرن مبتنی بر رایزن، بنچمارک گرفت. همانطور که انتظار میرفت، سیستمهای جدیدتر سرعت استنتاج سریعتری داشتند. جای تعجب اینجاست که یک ThinkPad T42 با پردازنده 1.7GHz Pentium M، از یک ThinkPad X13G1 که 16 سال بعد عرضه شده بود، عملکرد بهتری نشان داد.
منگ فرآیند آزمایش، مستندسازی و پورت llama2.c به داس را به عنوان یک پروژه آخر هفته توصیف کرد. او از آندری کارپاتی (Andrej Karpathy)، که llama2.c را به صورت منبع باز منتشر کرد، به خاطر ممکن ساختن این کار تشکر کرد. بدون کار کارپاتی و منگ، شاید سیستمهای قدیمی از موج فعلی هوش مصنوعی مستعد هذیان در امان میماندند.