You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
やりたいこと 僕は普段ブクログというサービスを使って読んだ本を記録しています。ブクログに登録した書籍を月別で分類し、いつどんな本を読んでいたのかを整理したいと思いました。 Pythonを勉強中なので、Pythonを使ってこれを実装してみます。 成果物 最終的なコードと出力ファイルは以下のGistに置きました。 ブクログAPIを叩いて書籍を取得する booklog apiなどで調べるとhttp://api.booklog.jp/v2/json/<userId>?count=10000に対してリクエストを送ると、ユーザーの本棚情報を取得できることが分かりました。 このAPIは公式のドキュメントなども見当たらなかったので、動かして試してみます。 import requests import json api_res=requests.get("http://api.booklog.jp/v2/j
![[Python]ブクログに登録した本一覧を月別で出力してみる](https://cdn-ak-scissors.b.st-hatena.com/image/square/c9ca8241ee1c6aeb0b63088f4d184bdc638d616f/height=288;version=1;width=512/https%3A%2F%2F2.zoppoz.workers.dev%3A443%2Fhttps%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--XLh24eI1--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BPython%25255D%2525E3%252583%252596%2525E3%252582%2525AF%2525E3%252583%2525AD%2525E3%252582%2525B0%2525E3%252581%2525AB%2525E7%252599%2525BB%2525E9%25258C%2525B2%2525E3%252581%252597%2525E3%252581%25259F%2525E6%25259C%2525AC%2525E4%2525B8%252580%2525E8%2525A6%2525A7%2525E3%252582%252592%2525E6%25259C%252588%2525E5%252588%2525A5%2525E3%252581%2525A7%2525E5%252587%2525BA%2525E5%25258A%25259B%2525E3%252581%252597%2525E3%252581%2525A6%2525E3%252581%2525BF%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3AKenzo%252520Tanaka%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzhkMGRjZjI4N2MuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
こんばんは、エンジニアの眠れない夜です。 最近お金の管理がズボラ過ぎて、毎朝マネーフォワードを眺めて無駄遣いをしていないか確認するようになりました。 そこで思ったのが毎朝クレジットカード情報を更新しても反映されるまで待つのが面倒。 別の作業をして戻ってくる頃にはマネーフォワードの存在を忘れていたり… ということで、寝ている間に勝手にマネーフォワードの更新を実行してくれて、朝見たときには更新済み！という状況にしたかったので自動で金融機関情報を更新するスクリプトを書きました。 マネーフォワードを利用されている方がいましたらぜひご利用ください。 【実行中の様子】 マネーフォワード金融機関情報自動更新スクリプト 定期実行するには下記のシェルスクリプトをどこかに保存してcronで実行します。 例）moneyforward_reload_accounts.sh 第1引数はログインアドレス 第2引数はロ
Pythonの勉強がてら、マネーフォワードのサイトから口座残高などの情報をスクレイピングしてきて、日々のポートフォリオを作成するというコードを書いてみました。 いろいろと勉強になることたくさんでして、忘れないように記録しておきます。（その１）では、プログラム作成の動機や内容などを、（その２）では実際のコーディングにあたってはまった点などを紹介します。 マネーフォワードの良さと問題点 やりたいこと 実装したコード 結果 マネーフォワードの良さと問題点 マネーフォワードは、銀行・証券会社・クレジットカードの情報を登録しておくと、口座残高やカード使用履歴などを記録してくれるアプリで、すでに多くのひとが活用していると思います。 moneyforward.com マネーフォワードの機能のひとつに、現在保有している資産の内訳や資産履歴をグラフ化してくれるものがあります。現金や預金だけでなく、株や投資信
この記事は RECRUIT MARKETING PARTNERS Advent Calendar 2017 の投稿記事です。 こんにちは。スタディサプリENGLSHでサーバーサイドとインフラを担当している松川です。 バスケットボールを趣味にしているのですが、体育館など公共スポーツ施設の予約がなかなか取れない… 都心近郊ですと人口に対してスポーツ施設が少ないため、すぐに枠が埋まってしまいがちです。稀にキャンセルが出ることもありますが、自治体のwebサイトにプッシュ通知やRSSといった類のものは滅多にありませんので、こまめに巡回しなくてはなりません。 流石にそれは効率的ではないので「何かクローラーでも書こうかなぁ…」と思っていたところ、同僚から「OCamlのlamdba-soupというライブラリがええで！」と紹介してもらったので、これを期にOCamlデビューしてみることにしました。 結論から言
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
Headless Chromeのリリースをうけて、PhantomJS のメンテナーが開発の終了を宣言したりとか、ちょっと話題になった Headless Chrome について試してたことをメモっておく。 試したやつのリポジトリ：https://github.com/cyokodog/headless-chrome 概要 ヘッドレス（GUIを表示しない状態）で実行できる Chrome の機能 Chromium と Blink が提供する機能をコマンドラインで利用できる Chrome 59 から利用可（2017/06/08時点ではMAC、Linuxのみ） 活用例 ウェブページのテスト 表示・動作テスト、画像やPDFによる画面のスクリーンショット スクレイピング 認証が必要なサイトでも対応 ヘッドレスで起動する --headless フラグと --disable-gpu フラグ（そのうち指定不要
こちらのOSDNの記事で知ったのですが、MozillaでFathomというJavaScript用のスクレイピングフレームワークを開発しているようです。仕事でクローラーを作ったりしていたこともあり、面白そうだと思ったので軽く調べてみました。 mag.osdn.jp 以下のGitHubリポジトリで開発されています。GitHub Pagesに詳しいドキュメントもあります。 github.com OSDNの記事で触れられている開発者のErik Rose氏のブログエントリはこちら。 hacks.mozilla.org ドキュメントやErikさんのブログエントリなどをざっと眺めてみたところ、それほど複雑なものではなく、ある程度曖昧なルールとスコアリングを定義しておき、最もスコアの高い要素の選択するというのが基本的なコンセプトのようです。 なにはともあれ試してみます。まずは適当なディレクトリを掘り、np
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
