DMMスクレイピング × WordPress ITかあさん

ITかあさん

DMMスクレイピング × WordPress

まとめ

ITかあさんのブログでここまで長い記事を書いたのは2年というブロガー暦の中(短っ)で初めてでした。。。。
手順をまとめます

・simple_html_domをダウンロードして、Wordpressのインストフォルダに設置
・カテゴリー(category.php)を先に登録
・記事(post.php)を先に登録

コツは、

・どうやって重複を防ぐか
・どうやってユニークな値を見つけるか

ですね。ユニークフィールドをWordpressの記事テーブルに作ってしまい、ユニークがあるから重複されない、というのが基本的な手順でした。
また、今回は単純にスクレイピングしたものをWordpressの記事に落とし込んだだけなのですが 記事のカスタムフィールドには商品のURLも残しておきました。
これは今後DMMのアフィリエイトコードを利用する時にこのカスタムフィールドだけを変更すればよいかと思い、残すことにしました。
一部手作業の部分が出てしまい、全自動とまではいきませんでしたが正しくスクレイピングするならCronでアクセスします。
レンタルサーバーでCronが使えない、いや、そもそもCronが分からない方は設置したスクレイピングのコードに直接ブラウザからアクセスすればよいわけですね。

ダウンロードと参考?サイト

今回私が作ったサイトはこちら

ダウンロードはこちら

WordPressがインストールされたDBを設定してください。また、先にユニークフィールド『val』を設定する点も注意が必要です。

さらに今回のスクレイピングのことが知りたい方

5/13日に行われた勉強会の模様をビデオで撮影して頂きました。(いつもありがとうございます)
ITかあさんの勉強会でのテンパり模様も多数収録してあります!また一緒に勉強会を主催させていただいている方のバーチャルボックスのインストール方法の勉強内容も入っております。合わせてぜひご覧下さい!

今日の告知

主催しておりますLinux勉強会の次回開催が決定しました。
6/17(日)13:00~ 朝霞中央公民館で行われます。飛び込み歓迎ですが、出来れば事前にFacebookのグループ登録お願いします。
次回もITかあさんはスクレイピングネタやります。もう少し発展したスクレイピング、DMMアフィリエイトとの連携をやりたいと思います。
詳しくはこちら

初夏のJavaScript祭 in サーキュレーションビル ForPro

ページ: 1 2 3 4 5