マーガリンのテストブログ

このブログはIT関係で知ったこと、思ったことなどを記事として投稿していきます。 内容に不備や疑問点があればコメントしていただけると幸いです。

Pythonでスクレイピングするのに使うもの

Pythonスクレイピングするのに使うものと、ちょっとした使い方をメモとして記述する。

スクレイピングする際は、操作するWebページの利用規約などを確認してからやりましょう。くれぐれも迷惑をかけてはいけません。

 

Pythonスクレイピング

スクレイピングとは

 

簡単に言うと、Webページに表示されているデータを取得する技術のこと。

APIがなくてもデータ取得できるし、必要なデータに絞って取得できるのが強み。

 

スクレイピングを実現する技術一覧

ブラウザを操作する

Selenium

puppeteer

html.parser

lxml

html5lib

BeautifulSoup4

pyquery

 

今度使ってみての感想を記事にしようかと思います。