ソースコードあり！URLの中にあるリンク一覧をcsvファイルに出力するPythonプログラム

2018年10月28日
IT, プログラミング
237回
0件

ライバルサイトの調査、作成したブログのリンク状況など、張っているリンクの一覧がほしいと思うことがあると思います。それを実現するため、Pythonでリンク一覧を取得するサンプルプログラムを作成してみた。

実際のソースコードは、記事の後半で公開します。

1 Pythonでリンク一覧を取得するプログラム
2 まとめ

Pythonでリンク一覧を取得するプログラム

プログラムの流れ

やっていることはざっくり以下の通りです。

(1)コマンドラインからURLを取得する

(2)入力したURLにアクセスしてhtmlデータをダウンロードする

(3)htmlデータを解析する

(4)(3)のデータから「href」部分を取得してリンク(URL)を作成(csv書き出し用にメモリー上に保存しておく)する

(5)(4)で作成したリストをcsvに書き出します。

プログラムを動かす上で必要になるもの

プログラムを動かすとき以下のものがインストールされている必要があります。

・Python3(環境設定も含む)

・BeautifulSoup

・urlparse

ソースコード

実際のソースコードを記載します。

# -*- coding: utf-8 -*-
from bs4 import BeautifulSoup
from urllib.parse import urlparse
from datetime import datetime
import csv
import sys
import urllib.request as req

u"""
指定したWEBサイトのリンクリスト取得ツール
結果はCSVファイル(ファイル名：linkList_日時.csv」)に出力します。
第１引数 調べる階層 最小1より(現在は未実装)
第２引数　調べるサイトのURL(ダブルクフォーテーションで括る)
"""

LinkColumnName = ['no', 'リンク名','URL']


def get_link_lists(url):
    linkLists = []

    res = req.urlopen(url)
    soup = BeautifulSoup(res, 'html.parser')

    for s in soup.find_all("a"): 
        wordDict = {}

        #リンク取得
        link = s.get("href")

        if(link[0] == '/'):
            parsed_url = urlparse(url)
            link = parsed_url.scheme + "://" +parsed_url.netloc + link
        
        wordDict[LinkColumnName[0]] = 0
        wordDict[LinkColumnName[1]] = s.text
        wordDict[LinkColumnName[2]] = link

        #追加
        linkLists.append(wordDict)

        #出力
        print(s.text + "  "+  link) 


    return linkLists;


if __name__ == '__main__':

    #ネットからデータ取得
    param = sys.argv
    if (len(param) == 0):
        print ("Usage: $ python " + param[0] + " number")
        quit()
    if(len(param) < 3):
        print ("入力データが足りないです 第一引数:調べる階層  第２引数：URL")
        quit()      


    #調べる深度depthを取得する
    depth = param[1]

    #url取得
    url = param[2]


    #リンクリスト取得
    linkLists = get_link_lists(url)


    #CSVファイル書き込み
    filename = "linkList_" + datetime.now().strftime("%Y%m%d") + ".csv"
    with open(filename, 'w') as csv_file:
        fieldnames = LinkColumnName
        writer = csv.DictWriter(csv_file, fieldnames=fieldnames)
        writer.writeheader()

        #データ分出力する
        index = 0
        for data in linkLists:
            writer.writerow({LinkColumnName[0]:index, LinkColumnName[1]: data[LinkColumnName[1]], LinkColumnName[2]: data[LinkColumnName[2]]})
            index +=1

コードは、GitHubにも公開されています。

https://github.com/jshirius/web_tool/blob/master/analysis_link_lists.py