一般的なスクレイピング手法とその問題点 スクレイピングというと、HTTPクライアントライブラリを用いてHTML取得し、HTML/XMLパーサーで解析するというのが一般的だと思います。 この手法の場合、以下の場合にうまく処理できません。 ターゲットのページがJavaScriptにより動的にDOMを操作する場合 HTML/XMLパーサーが取得したHTMLを正しく解釈できない場合(正しくないHTMLでもブラウザはなんとか処理するが、パーサーライブラリは正確なHTMLでないと処理できないことがある) 特に問題になるのは前者でしょう。最近のWebサイトではJavaScriptでDOMを操作することは珍しくなくなってきています。SPAであればなおさら難しく、もはやこういった手法によるスクレイピングは不可能でしょう。 ヘッドレスブラウザによるスクレイピング 動的なDOMやパーサーがうまく解釈できないとい
(訳注：2015/8/4、いただいた翻訳フィードバックを元に記事を修正いたしました。) 本題に入る前に強調しておきます。WebSocketは優れた通信プロトコルです。実際私はこの RFC6455 を、 Fanout のサービスで使っている( Zurl や Pushpin といったパーツで採用しています。Fanoutではまた、 Primus （異なるリアルタイムフレームワーク間での通信を可能とするラッパー）を利用し、 XMPP-FTWインターフェース を介したWebSocket通信をサポートしています。 しかしながら私はこれまで、多くの広く普及しているアプリケーションにかなりの時間を費やし、おかげでRESTやメッセージングパターンについては多少なりとも理解が深まってきた今、実はWebSocketを実装した典型的なWebアプリケーション（もしくはWebSocketライクな抽象化レイヤ）の大部分
準備 JettyでWebSocketを利用するためには次の２つとそれに関連するモジュールが必要となります。 jetty-server javax-websocket-server-impl 以下、pom.xmlの設定例です。 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
Jetty 9 – Updated WebSocket API | Jetty & Cometd Blogs を基にWebSocketサンプルを作成したものの、微妙にAPIのパッケージ名が変わっていたりして混乱したので、ちょっとメモしてみる。 とりあえずpom.xml（maven v2.0.9で動作確認） <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <group
Objective-Cなんてのを書いてると、なんでこんなちっぽけなことを実現するのに時間がこんなにかかるんだろうと思う。 スキルや経験に問題があるかも？！というのは否定しないけど、Webベースで作ってる時に比べて、自分の生産性が1/20ぐらいになってる気がして、携帯HTMLのサーバサイドコード書いてた時と比較しちゃって、モチベーションの維持が本当大変。 HTMLのハイパーリンク、テーブル、CSS、、、すごくシンプルなアーキテクチャで、すごいよ、やっぱり。 なによりWebは分業したときの切り分けがエンジニアに優しいw。 唯一の弱点はサーバサイドコードが汚くなることだけど、汚くあることで可読性は悪いけど、その分、修正のスピードが早い。汚いところは君の頭の回転でカバーだ。 AjaxもいらないからブラウザとWebサーバの間で先読み技術などがどんどんリッチになって、Webの人はできるだけ使いやすいW
＊）オリジンとは、プロトコル、ドメイン、ポート番号の組み合わせの事です。 サンプル一式は、会員限定特典としてダウンロードできます。記事末尾をご確認ください。 従来のHTTPによる通信では以下のような問題や制約があります。 メッセージの送信時に毎回接続を確立して送信後に切断する必要があり、オーバーヘッドが大きい。 接続を開始する権利はクライアント側にしかなく、サーバー側は要求に対する応答の形のみでしかデータ送信出来ない。 各メッセージ送信において状態を維持する事ができない。 クロスドメイン（クロスオリジン）での通信はできない これらの制限が、効率的なリアルタイム性のあるリモートアプリケーションの作成や、他サイトの提供するサービスの組み合わせでWebサイトを構築する場合に、他の技術も使用しなければならず、実装が複雑になってしまう原因となっていました。 しかし、HTML5の上記の新機能により、サ
緊急地震速報 by Extension を作って Mitsuaki Ishimoto Aug 21, 2011 自己紹介(1) @mitsuaki_i Chromeで緊急地震速報を出す拡張機能を作りました。 自己紹介(2) @mitsuaki_i 他はChrome Extensionとandroidでかおもじ辞典作ってます 以前は受託でWebシステムを開発してました 最近はiPhone/androidアプリを開発してます では緊張してますが本題！(･ω･´;) ※早口でいきます！ まず拡張機能について 今回の発表テーマはChromeで動作する拡張機能です Twitter経由で緊急地震速報を取得 WebSocketを使ってクライアントに配信 どうして作ろうと思ったのか？ 3月11日 開発の経緯(1) 津波で建物が流されるのを見て大変な事が起こったんだと思い、 自宅まで歩いて帰るなかで見たこと
The document discusses the WebSocket protocol, which facilitates two-way communication between clients and servers in web applications without the need for multiple HTTP connections. It outlines the protocol's structure, including a handshake and message framing, while emphasizing its security model based on origins commonly used in web browsers. The document also compares WebSocket to other techn
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
