Colly provides a clean interface to write any kind of crawler/scraper/spider With Colly you can easily extract structured data from websites, which can be used for a wide range of applications, like data mining, data processing or archiving. Features Clean API Fast (>1k request/sec on a single core) Manages request delays and maximum concurrency per domain Automatic cookie and session handling Syn
package main import ( "fmt" "github.com/gocolly/colly" ) func main() { c := colly.NewCollector() // リクエスト許可するドメインの設定 c.AllowedDomains = []string{"jp.leagueoflegends.com", "support.riotgames.com"} // HTMLもらった時に実行するコールバック c.OnHTML("a[href]", func(element *colly.HTMLElement) { link := element.Attr("href") fmt.Printf("見つけたリンク: %q -> %s\n", element.Text, link) // 見つけたリンクにリクエスト c.Visit(element.Request.A
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
