Webスクレイピングで業務改善していたときの違和感

f:id:nazuna_0124:20170329192937p:plain

まだお話としては確定していません。

違和感がある、でも間違いなく解決策がある

感じている状態です。


さて、Web操作を自動で行うWebスクレイピング

アプローチとしては2つあります。


  1. プログラム的にブラウザの操作


  1. 人間の動きをトレース、マウスとキーの制御を行い結果としてブラウザ操作



VBAでやるのは1です。UWSCなんかを使うのは2です。


それぞれ扱う情報に違いがあります。

(できなくはないんですが)


1はhtmlのソースをちゃんと持ってきてます。

つまり上から3つ目のAタグをクリックするとか

そういう操作が可能です。



逆に2側ではディスプレイの座標からみて100,100の位置を

クリックするなんてことができます。



どちらも人間が手で操作するために作られたページに対して

自動化を行うのでたまに不具合でます。

これの処理にかなり時間がかかります。



んで、何回か書いてますがxmlでもjsonでもpostで

なんでも受け取るようにしとけば1個のファイルで処理完了するんでわ?


そのファイル生成と通信をExcelで管理しておけば

管理=作業となって作業がほぼ不要になるんじゃ??


というのが違和感の正体。


世の中の街の道路が完全なマス目上だったら

自動運転はとっくに実現してそうみたいなイメージでしょうか。



リアルでは難しい話ですが、システムなら難しいどころか

下手すると簡単です。



いくつか課題が思い浮かびますが、どれもなんとかなりそうです。


う~ん 前職でやり残した仕事の一つではありました。

まさか同じ課題が出てくるとは……

卒業試験みたいなものでしょうか。