マルチスレッド・リンクチェッカー
新たに身に付けた知識を活かして、マルチスレッド リンク チェッカーを作成しましょう。まず、ウェブページ上のリンクが有効かどうかを確認する必要があります。同じドメインの他のページを再帰的にチェックし、すべてのページの検証が完了するまでこの処理を繰り返します。
For this, you will need an HTTP client such as reqwest
. You will also need a way to find links, we can use scraper
. Finally, we'll need some way of handling errors, we will use thiserror
.
Create a new Cargo project and reqwest
it as a dependency with:
cargo new link-checker
cd link-checker
cargo add --features blocking,rustls-tls reqwest
cargo add scraper
cargo add thiserror
cargo add
がerror: no such subcommand
で失敗する場合は、Cargo.toml
ファイルを手動で編集してください。下記の依存関係を追加します。
cargo add
の呼び出しにより、Cargo.toml
ファイルは次のように更新されます。
[package]
name = "link-checker"
version = "0.1.0"
edition = "2021"
publish = false
[dependencies]
reqwest = { version = "0.11.12", features = ["blocking", "rustls-tls"] }
scraper = "0.13.0"
thiserror = "1.0.37"
これで、スタートページをダウンロードできるようになりました。https://www.google.org/
のような小規模なサイトで試してみましょう。
src/main.rs
ファイルは次のようになります。
use reqwest::blocking::Client; use reqwest::Url; use scraper::{Html, Selector}; use thiserror::Error; #[derive(Error, Debug)] enum Error { #[error("request error: {0}")] ReqwestError(#[from] reqwest::Error), #[error("bad http response: {0}")] BadResponse(String), } #[derive(Debug)] struct CrawlCommand { url: Url, extract_links: bool, } fn visit_page(client: &Client, command: &CrawlCommand) -> Result<Vec<Url>, Error> { println!("Checking {:#}", command.url); let response = client.get(command.url.clone()).send()?; if !response.status().is_success() { return Err(Error::BadResponse(response.status().to_string())); } let mut link_urls = Vec::new(); if !command.extract_links { return Ok(link_urls); } let base_url = response.url().to_owned(); let body_text = response.text()?; let document = Html::parse_document(&body_text); let selector = Selector::parse("a").unwrap(); let href_values = document .select(&selector) .filter_map(|element| element.value().attr("href")); for href in href_values { match base_url.join(href) { Ok(link_url) => { link_urls.push(link_url); } Err(err) => { println!("On {base_url:#}: ignored unparsable {href:?}: {err}"); } } } Ok(link_urls) } fn main() { let client = Client::new(); let start_url = Url::parse("https://www.google.org").unwrap(); let crawl_command = CrawlCommand{ url: start_url, extract_links: true }; match visit_page(&client, &crawl_command) { Ok(links) => println!("Links: {links:#?}"), Err(err) => println!("Could not extract links: {err:#}"), } }
src/main.rs
内のコードを、次のコマンドで実行します。
cargo run
タスク
- スレッドを使用してリンクを同時にチェックします。つまり、チェックする URL をチャンネルに送信し、いくつかのスレッドで同時に URL を確認します。
- これを拡張して、
www.google.org
ドメインのすべてのページからリンクを再帰的に抽出します。サイトがブロックされないように、ページ数の上限を 100 程度に設定します。