【AWS】スクレイピング(1.SageMakerノートブック(Python)でWeb情報ダウンロード)

スクレイピング(1.SageMakerノートブック(Python)でWeb情報ダウンロード)

前提

SageMagerノートブックインスタンスが作成済みであること

実践！

１．SageMakerノートブックインスタンス起動
１－１．AWS - SageMaker - ノートブック
１－２．conda_python3でインスタンスを起動

２．Web情報ダウンロード
２－１．下記を実行し、Web情報がダウンロードできることを確認

import requests
url = "https://xxx.co.jp" # 取得したいサイトのURL
response = requests.get(url)
response.encoding = response.apparent_encoding
print(response.text)

３．ファイルへ出力
３－１．下記を実行

filename = "download.txt"
f = open(filename, mode="w")
f.write(response.text)
f.close()

３－２．「File」-「Open」

３－３．ファイルが出力されていることを確認