【AWS】SageMakerノートブックでBedrock(titan)を操作してみた

下記サイトを参考に、SageMakerノートブックでBedrock(titan)を操作してみた。
docs.aws.amazon.com

前提

SageMakerノートブックが作成済みであること
※まだの場合下記を参考にノートブックを作成する
amegaeru.hatenablog.jp

実践！

１．SageMakerノートブックのロール修正
１－１．AWS - SageMaker
１－２．「Notebooks」-事前に作成しているノートブックを選択

１－３．「アクセス許可と暗号化」内の「IAM ロール ARN」を選択

１－４．「許可」タブ-「許可の追加」-「インラインポリシーを作成」

１－５．「JSON」を選択し、下記を入力

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "bedrock:*",
            "Resource": "*"
        }
    ]
}

１－６．「次へ」

１－７．ポリシー名に「test」と入力し、「ポリシーの作成」

１－８．「信頼関係」タブ

１－９．「信頼ポリシーを編集」

１－１０．下記に修正
※"bedrock.amazonaws.com"を追加している

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": [
                    "firehose.amazonaws.com",
                    "glue.amazonaws.com",
                    "codepipeline.amazonaws.com",
                    "codebuild.amazonaws.com",
                    "cloudformation.amazonaws.com",
                    "apigateway.amazonaws.com",
                    "sagemaker.amazonaws.com",
                    "events.amazonaws.com",
                    "states.amazonaws.com",
                    "lambda.amazonaws.com",
                    "bedrock.amazonaws.com"
                ]
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

１－１１．「ポリシーを更新」

２．SageMakerノートブックを開く
２－１．AWS - SageMaker
２－２．「Notebooks」-事前に作成しているノートブックの「Jupyter を開く」

２－３．「New」-「conda_python3」

３．動作確認
３－１．下記を入力、200OKとベースモデルの情報が返ってくることを確認

import boto3
bedrock = boto3.client(
    service_name="bedrock"
)
bedrock.list_foundation_models()

３－２．下記を入力し、モデルにテキストプロンプトを送信してレスポンスが返ってくることを確認

import boto3
from botocore.exceptions import ClientError

# Create an Amazon Bedrock Runtime client.
brt = boto3.client("bedrock-runtime")

# Set the model ID, e.g., Amazon Titan Text G1 - Express.
model_id = "amazon.titan-text-express-v1"

# Start a conversation with the user message.
user_message = "Describe the purpose of a 'hello world' program in one line."
conversation = [
    {
        "role": "user",
        "content": [{"text": user_message}],
    }
]

try:
    # Send the message to the model, using a basic inference configuration.
    response = brt.converse(
        modelId=model_id,
        messages=conversation,
        inferenceConfig={"maxTokens": 512, "temperature": 0.5, "topP": 0.9},
    )

    # Extract and print the response text.
    response_text = response["output"]["message"]["content"][0]["text"]
    print(response_text)

except (ClientError, Exception) as e:
    print(f"ERROR: Can't invoke '{model_id}'. Reason: {e}")
    exit(1)