انتشار llm-openrouter نسخه 0.4 - وبلاگ سایمون ویلیسون

llm-openrouter 0.4. امروز صبح متوجه شدم که OpenRouter از تعدادی مدل API رایگان (با محدودیت نرخ) پشتیبانی می‌کند. مدل‌های API رایگان.

من گهگاه کارگاه‌هایی را در مورد LLMها اجرا می‌کنم (مانند این یکی) و این که بتوانم راهی سریع برای به دست آوردن کلید API در برابر مدل‌هایی که نیازی به تنظیم صورتحساب ندارند، در اختیار دانش‌آموزان قرار دهم، برای من بسیار ارزشمند است!

این موضوع به من انگیزه داد تا پلاگین موجود llm-openrouter خودم را ارتقا دهم و با این کار، تعدادی از درخواست‌های ویژگی باز را بستم.

این پست را یادداشت‌های انتشار حاشیه‌نویسی شده در نظر بگیرید:

• پشتیبانی از طرحواره LLM برای مدل‌های OpenRouter که از خروجی ساختاریافته پشتیبانی می‌کنند. #23

من در تلاش هستم تا از ویژگی طرحواره جدید LLM در بسیاری از پلاگین‌ها پشتیبانی کنم.

API سازگار با OpenAI در OpenRouter از response_format گزینه محتوای ساختاریافته پشتیبانی می‌کند، اما با یک نکته مهم: این گزینه فقط برای برخی از مدل‌ها کار می‌کند و اگر سعی کنید از آن در مدل‌های دیگر استفاده کنید، به طور خودکار نادیده گرفته می‌شود.

من یک مشکل را با OpenRouter ثبت کردم و درخواست کردم که از پشتیبانی طرحواره در فهرست مدل قابل خواندن توسط ماشین خود استفاده کنند. در حال حاضر LLM به شما اجازه می‌دهد طرحواره‌هایی را برای مدل‌های پشتیبانی نشده مشخص کنید و آن‌ها را به طور کامل نادیده می‌گیرد، که ایده‌آل نیست.

• دستور llm openrouter key اطلاعاتی در مورد کلید API فعلی شما نمایش می‌دهد. #24

برای اشکال‌زدایی و بررسی جزئیات محدودیت نرخ کلید شما مفید است.

• llm -m ... -o online 1 جستجوی وب را در برابر هر مدلی با قدرت Exa فعال می‌کند. #25

ظاهراً OpenRouter این ویژگی را برای همه مدل‌های پشتیبانی شده خود در دسترس قرار می‌دهد! آن‌ها از Exa برای قدرت بخشیدن به این ویژگی استفاده می‌کنند، یک استارت‌آپ موتور جستجوی متمرکز بر هوش مصنوعی که به نظر می‌رسد فهرست خود را با خزنده‌های خود ساخته‌اند (طبق پرسش‌های متداول آن‌ها). در حال حاضر قیمت این ویژگی توسط OpenRouter 4 دلار در هر 1000 نتیجه است و از آنجایی که 5 نتیجه برای هر درخواست برگردانده می‌شود، 2 سنت برای هر درخواست هزینه دارد.

• دستور llm openrouter models برای فهرست کردن جزئیات مدل‌های OpenRouter، شامل گزینه --json برای دریافت JSON و گزینه --free برای فیلتر کردن فقط مدل‌های رایگان. #26

این یک راه عالی برای فهرست کردن مدل‌های موجود ارائه می‌دهد. نمونه‌هایی از خروجی در نظرات مربوط به این موضوع وجود دارد.

• گزینه جدید برای مشخص کردن مسیریابی ارائه‌دهنده سفارشی: -o provider '{JSON here}'. #17

بخشی از USP (نقطه فروش منحصر به فرد) OpenRouter این است که می‌تواند درخواست‌ها را به ارائه‌دهندگان مختلف بسته به عواملی مانند تأخیر، هزینه یا به عنوان یک جایگزین در صورتی که انتخاب اول شما در دسترس نباشد، هدایت کند - عالی است اگر از مدل‌های وزن باز مانند Llama استفاده می‌کنید که توسط شرکت‌های رقیب میزبانی می‌شوند.

گزینه‌هایی که آن‌ها برای مسیریابی ارائه می‌دهند بسیار کامل هستند - من در ابتدا امیدوار بودم مجموعه‌ای از گزینه‌های CLI ارائه دهم که همه این موارد را پوشش دهد، اما تصمیم گرفتم به جای آن از فرمت JSON آن‌ها استفاده کنم و آن گزینه‌ها را مستقیماً به مدل ارسال کنم.