PHPでスクレイピング第2弾

スクレイピングをする必要があり色々と試したので軽くメモを残す。

以前、試した事があるのでそれをベースに実行をした。同じくSimple HTML DOM Parserを使っている。

対象のページは上場企業の情報が掲載されているUllet(ユーレット)でここから上場企業リストと従業員数等の情報を取り出したい。

1ページあたり20社ずつ企業一覧になっており193ページあるようで、下記のURLが1ページ目になる。

続きを読む

LINE Notifyを試した

はてぶで下記の記事を見つけた。

コマンドラインから LINE にメッセージを送れる LINE Notify

プログラムからLINE通知を送る事ができたら何かに使えるかもと思っていたが、それができるようなのでテストだけしてみた。自分用の備忘録として本当にただ動かしてみただけなので、上記URLよりも詳しい内容は何も記載していない。

 
1.まずLINE NotifyのマイページにアクセスをしてLINE IDでログインをする。
https://notify-bot.line.me/my/

続きを読む

重複を排除して各件数のカウント

タイトルの通り処理をしたく、色々と試したのでメモを残す。
結果的にはSQLでの処理はあきらめてプログラム側(PHP)で処理をした。

まず、やりたい内容について記載していく。

例えば、下記のようなテーブルがあるとする。
実際は複数のテーブルをjoinする内容なのだが簡単にしたいので一旦下記のように設定した。
テーブル名はshopとする。

続きを読む

GoogleMapsAPIメモ

GoogleMapsAPIを活用する機会があったので色々とテストをしている。

地図上の任意の位置にピンを立てる事自体は特に難しくなかったのであるが、ピンを立てる位置を指定する際にlat(緯度)とlng(経度)を指定する。そのピンの位置を微調整したい場合に、例えば北に少し動かすにはどうしたらいいのかがパッと出てこなかったので調べるついでにメモを残す。

まず都心部にピン(マーカー)を立てた。それぞれクリックをするとlatとlangが表示される。
lat: 35.65、lng: 139.72という数字の区切りがちょうど良いところが広尾駅周辺だったのでそこを中心とした。

0.01刻みで値を変えて9つのマーカーを立てた。

続きを読む

wp_postsテーブルの詳細メモ

WordPressから投稿一覧をエクセルで出したく、以前も同じような投稿をしたのであるが、SQLで特に絞り込みをせずにエクセル形式でエクスポートをしてエクセルのフィルターで絞り込む事にした。

その際に各カラム(フィールド)の項目が意味するものは何なのかを調べたので備忘録も兼ねてメモを残す。

普通にphpMyAdminからエクスポートをした。「1行目にフィールド名を追加する」にチェックは入れる。

続きを読む