クローラーを作って、同じデータの除去などに使ってます。

MySQLで別のサーバーからそれぞれデータを取得したまではいいものの、語句の種類を知りたかったので、ユニークにする必要がありました。distinctやgroup byでユニークにできたらいいわけですが、別に同じテーブルってわけでもなければ、同じサーバーでもないので、今回はPHPの配列に格納して、そして重複を除去することで問題解決にいたりました。

データをひとまずPHPの配列に入れておく

ともかく、適当にデータを取得して、ぐるぐるとforeachとかで配列に入れてみます。

$data=$db->prepare('select word from hoge.list');
$data->execute();
$data=$data->fetchall();

$hyre_2=array();
foreach($data as $a){
$hyre_2[]=$a["word];
}

$data2=$db->prepare('select word2 from hoge.list2');
$data2->execute();
$data2=$data2->fetchall();

foreach($data2 as $a2){
$hyre_2[]=$a2["word2];
}

///配列から重複を除去する
$hyre_2=array_unique($hyre_2)

ひとまずこれで完成。

いつも関数とか忘れてしまうので、念のための記録ということで。

コメント