استقرار مدل‌های DeepSeek-R1 بر روی Amazon Bedrock

DeepSeek یک ابتکار تحقیقاتی پیشرفته در زمینه هوش مصنوعی است که مدل‌های زبانی بزرگ (LLM) متن‌باز پیشرفته‌ای را توسعه

با گسترش استفاده از هوش مصنوعی، استقرار کارآمد چنین مدل‌هایی برای کسب‌وکارها و توسعه‌دهندگان بسیار مهم است. یکی از چالش‌های

با استفاده از Custom Model Import Bedrock، توسعه‌دهندگان می‌توانند مدل‌های از پیش آموزش‌دیده مانند DeepSeek-R1 را به یک

این آموزش شما را در فرآیند گام به گام استقرار مدل DeepSeek-R1 Distill Llama بر روی Amazon Bedrock، از دانلود مدل و آماده

در پایان این راهنما، شما یک مدل DeepSeek-R1 کاملاً عملیاتی خواهید داشت که روی Amazon Bedrock اجرا می‌شود و قادر به ارائه

پیش‌نیازها

قبل از شروع، اطمینان حاصل کنید که موارد زیر را دارید:

1. یک حساب کاربری فعال Amazon Web Services (AWS) با مجوز دسترسی به سرویس‌های Amazon S3 و Amazon Bedrock.
2. سازگاری مدل. Amazon Bedrock از معماری‌هایی مانند Llama 2 پشتیبانی می‌کند و آن را با مدل‌های DeepSeek-R1 Distill سازگار
   می‌سازد.
3. فایل‌های مدل Hugging Face، شامل:
   • وزن‌های مدل (فرمت .safetensors)
   • فایل پیکربندی (config.json)
   • فایل‌های توکنایزر (tokenizer_config.json، tokenizer.json، tokenizer.model)
4. یک سطل Amazon S3 قابل دسترس برای ذخیره فایل‌های مدل.
5. نقش‌ها و سیاست‌های مدیریت دسترسی و زیرساخت (IAM) پیکربندی شده برای اجازه دادن به استقرار مدل و دسترسی به API.

با داشتن این موارد، می‌توانید به استقرار ادامه دهید.

گام 1: نصب وابستگی‌های مورد نیاز

ابتدا، وابستگی‌های لازم را در محیط پایتون خود نصب کنید:

pip install huggingface_hub boto3

این دستور Hugging Face Hub را برای بازیابی مدل و Boto3 را برای تعاملات AWS نصب می‌کند.

گام 2: دانلود مدل DeepSeek-R1

در مرحله بعد، مدل DeepSeek-R1 Distill Llama را از Hugging Face دانلود کنید:

from huggingface_hub import snapshot_download

# Define model ID
model_id = "deepseek-ai/DeepSeek-R1-Distill-Llama-8B"

# Download the model to the local directory
local_dir = snapshot_download(
 repo_id=model_id,
 local_dir="DeepSeek-R1-Distill-Llama-8B"
)

این دستور فایل‌های مدل را واکشی کرده و آنها را در دایرکتوری مشخص شده ذخیره می‌کند.

گام 3: آپلود فایل‌های مدل در Amazon S3

برای استقرار در Amazon Bedrock، فایل‌های مدل را در یک سطل Amazon S3 آپلود کنید:

import boto3
import os

# Initialize S3 client
s3_client = boto3.client('s3', region_name='us-east-1')

# Define S3 bucket name
bucket_name = 'your-s3-bucket-name'

# Specify local directory
local_directory = 'DeepSeek-R1-Distill-Llama-8B'

# Upload files to S3
for root, dirs, files in os.walk(local_directory):
 for file in files:
 local_path = os.path.join(root, file)
 s3_key = os.path.relpath(local_path, local_directory)
 s3_client.upload_file(local_path, bucket_name, s3_key)

your-s3-bucket-name را با نام سطل S3 واقعی خود جایگزین کنید.

گام 4: وارد کردن مدل به Amazon Bedrock

پس از قرار گرفتن مدل در S3، آن را به Amazon Bedrock وارد کنید:

1. در کنسول AWS به Amazon Bedrock بروید.
2. Custom models و سپس Import model را انتخاب کنید.
3. URI S3 را وارد کنید (به عنوان مثال، s3://your-s3-bucket-name/DeepSeek-R1-Distill-Llama-8B/).
4. تأیید کرده و فرآیند وارد کردن را شروع کنید.

Amazon Bedrock مدل را برای استقرار پردازش و اعتبارسنجی می‌کند.

گام 5: استقرار و فراخوانی مدل

پس از وارد کردن، از Bedrock API برای فراخوانی مدل استفاده کنید:

import boto3
import json

# Initialize Bedrock client
bedrock_client = boto3.client('bedrock', region_name='us-east-1')

# Define model ID
model_id = 'your-model-id'

# Define input prompt
input_data = {
 'prompt': 'Explain the significance of transformers in NLP.',
 'max_tokens': 150
}

# Invoke model
response = bedrock_client.invoke_model(
 ModelId=model_id,
 ContentType='application/json',
 Body=json.dumps(input_data)
)

# Process response
output = json.loads(response['Body'].read())
 print(output)

your-model-id را با شناسه مدل Bedrock اختصاص داده شده خود جایگزین کنید.

بهینه‌سازی استقرار مدل

هنگامی که مدل را روی Bedrock مستقر کردید، راه‌های زیر را برای بهینه‌سازی آن در نظر بگیرید.

1. فعال کردن مقیاس‌بندی خودکار: مقیاس‌بندی خودکار را پیکربندی کنید تا منابع محاسباتی را به طور پویا بر اساس ترافیک
   برای استفاده کارآمد از منابع تخصیص دهید.
2. نظارت بر عملکرد مدل: از AWS CloudWatch برای ثبت معیارهایی مانند تأخیر استنتاج و حجم درخواست استفاده
   کنید.
3. ایمن‌سازی نقاط پایانی API: اطمینان حاصل کنید که نقاط پایانی Bedrock شما با نقش‌های IAM و مجوز API gateway
   ایمن شده‌اند.
4. بهینه‌سازی هزینه‌ها: به جای تهیه ثابت، از مقیاس‌بندی در صورت تقاضا استفاده کنید و در صورت عدم اهمیت زمان پاسخگویی،
   نمونه‌های محاسباتی کم‌هزینه‌تر را انتخاب کنید.

فراتر از استقرار اولیه، این ادغام‌های پیشرفته را در نظر بگیرید:

1. تنظیم دقیق: مدل را با مجموعه‌های داده خاص دامنه اضافی سفارشی کنید.
2. ادغام API: مدل را از طریق یک REST API برای تعامل یکپارچه با برنامه‌های وب یا تلفن همراه در معرض دید
   قرار دهید.

نتیجه‌گیری

استقرار مدل‌های DeepSeek-R1 Distill Llama بر روی Amazon Bedrock یک راه حل قوی، مقیاس‌پذیر و کارآمد برای اجرای برنامه‌های

با استفاده از Amazon Bedrock، شما انعطاف‌پذیری لازم برای استقرار مدل‌های هوش مصنوعی پیشرفته را به دست می‌آورید و در عین حال

آیا می‌خواهید دانش خود را در مورد هوش مصنوعی گسترش دهید؟ OpenAI را با خروجی‌های ساختاریافته کشف کنید! راهنمای گام به گام