長らく提供させて頂いておりましたe-pad utnエディションですが、誠に申し訳ございませんが2007/9/20を以って配布を終了させて頂きました。
続きを読む
2010年12月31日
|
2008年09月18日
今更だけど、EXCELって65536行しか扱えないんだよね。
んで、仕事で何ヶ月かに１回、約90000行のデータを扱わなきゃならないだけど、いつもはGREPとかを駆使して不要なデータを削って65536行以下に減らしてからEXCELで読み込んで、その後フィルタ使ったり関数使ったりして必要なデータを抽出してたんだけど、これがまたえらく手間がかかる。
んで、ん？まてよ？SQLで読ませたら良いんじゃないのか？と気づいた。
元々俺のPCにはXAMP(Windows上でApache、PHP、MySQLを動かす為にパッケージ化されてるソフト)が入ってるんで、phpMyAdminからテーブルとレコードを作ってあげて、90000件のCSVファイルをインポートしてみた。
うん、インポートに多少時間はかかるものの、取り込んでしまえば意外とサクサク動く。
てか、EXCELでフィルタかけたりVLOOKUPで別のシート（マスタデータ）から項目引っ掛けたりする度に数十秒単にで待たされてたのが、ほぼ同じ条件でクエリ叩いても所要時間が１秒以内とか比較にならない。
今まで何て無駄な時間を浪費したたんだろうかと軽く凹んだね。
作ったのは、インポートするCSVの受け皿になるテーブルと、CSVの中のあるレコードをキーに情報を引っ張ってくる為のマスタ用テーブルの２つだけ。
複数のテーブルを同時に参照して、あるレコードをそれぞれのテーブルの値と比較してデータを引っ張ってくるのはOpenPNEでMyNEWSのDBライブラリ作る時に学んだんでそれの応用だった。
クエリの結果をCSVやEXCELの形式で出力する事も出来るし、思ってた以上に使い勝手が良かった。
まぁ実を言うとまもとに動くまで半日以上を要したんだけど、初期投資と割り切ろう。(一度クエリを作ってしまえば次回からはルーチンワークだし)
何でハマったかと言うと、インポートしたCSVの日本語が文字化けっつうありがちなパターン。
色んなサイト調べながら試してみたんだけど、なかなか上手く行かなくてね。
最終的に以下のサイトに書いてある事を一通りやたら解決できた。
『ヽ( ・∀・)ノくまくまー：(2006-10-11) [MySQL] 文字化け問題を本気で直す』
http://wota.jp/ac/?date=20061011
『Web2.1：XAMPPの文字化けを回避（PHP、MySQL、phpMyAdmin）』
http://takapop2ch.blog103.fc2.com/blog-entry-7.html
んで、仕事で何ヶ月かに１回、約90000行のデータを扱わなきゃならないだけど、いつもはGREPとかを駆使して不要なデータを削って65536行以下に減らしてからEXCELで読み込んで、その後フィルタ使ったり関数使ったりして必要なデータを抽出してたんだけど、これがまたえらく手間がかかる。
んで、ん？まてよ？SQLで読ませたら良いんじゃないのか？と気づいた。
元々俺のPCにはXAMP(Windows上でApache、PHP、MySQLを動かす為にパッケージ化されてるソフト)が入ってるんで、phpMyAdminからテーブルとレコードを作ってあげて、90000件のCSVファイルをインポートしてみた。
うん、インポートに多少時間はかかるものの、取り込んでしまえば意外とサクサク動く。
てか、EXCELでフィルタかけたりVLOOKUPで別のシート（マスタデータ）から項目引っ掛けたりする度に数十秒単にで待たされてたのが、ほぼ同じ条件でクエリ叩いても所要時間が１秒以内とか比較にならない。
今まで何て無駄な時間を浪費したたんだろうかと軽く凹んだね。
作ったのは、インポートするCSVの受け皿になるテーブルと、CSVの中のあるレコードをキーに情報を引っ張ってくる為のマスタ用テーブルの２つだけ。
複数のテーブルを同時に参照して、あるレコードをそれぞれのテーブルの値と比較してデータを引っ張ってくるのはOpenPNEでMyNEWSのDBライブラリ作る時に学んだんでそれの応用だった。
クエリの結果をCSVやEXCELの形式で出力する事も出来るし、思ってた以上に使い勝手が良かった。
まぁ実を言うとまもとに動くまで半日以上を要したんだけど、初期投資と割り切ろう。(一度クエリを作ってしまえば次回からはルーチンワークだし)
何でハマったかと言うと、インポートしたCSVの日本語が文字化けっつうありがちなパターン。
色んなサイト調べながら試してみたんだけど、なかなか上手く行かなくてね。
最終的に以下のサイトに書いてある事を一通りやたら解決できた。
『ヽ( ・∀・)ノくまくまー：(2006-10-11) [MySQL] 文字化け問題を本気で直す』
http://wota.jp/ac/?date=20061011
『Web2.1：XAMPPの文字化けを回避（PHP、MySQL、phpMyAdmin）』
http://takapop2ch.blog103.fc2.com/blog-entry-7.html
2008年09月17日
GoogleMap小窓 with 楽天トラベルv0.13をリリースしました。
ダウンロード：maps.google.co.jp_013.zip
設置方法については付属のドキュメントをご参照ください。
利用するには楽天DeveloperIDが必要です。
ご不明な点はコメントかメールを頂ければ可能な限り対応させて頂きますが、基本的に素人が手探りで作ってますのであまりアテにしないでもらえると助かります。
※OpenPNEの公式SNSにも出没します。
【で、これは何？】
GoogleMap小窓に周辺のホテルと最寄駅を表示します。
GoogleMap小窓 with 楽天トラベルv0.10
http://digiban.seesaa.net/article/104808906.html
【開発履歴】
2008/9/17 Ver0.13
・MyNETS1.2.0に対応(CMD形式のURLに対応)
・FireFoxで見た時にリストのバレットが枠からはみ出して表示されていたのでバレットが表示されないよう明示的に指定
2008/8/30 Ver0.12
・携帯でも同様の情報が表示されるようにした。
2008/8/28 Ver0.11
・周辺のホテルが10件に満たない場合にScriptエラーを履いてた＆楽天トラベルのロゴが表示されていなかったのを修正
・最寄り駅も表示するようにした。
【変更点】
開発履歴に記載した通りです。
作者のMyNETS移行に伴い、MyNETSのCMD形式のリンクでも同様の表示が行えるようにしました。
【所感】
IEとFireFoxでよくよく見比べてみたら、最寄り駅と宿泊施設の情報がIEでは地図の下に、FireFoxでは地図の上に表示されている。。。
出来れば統一したいけど、原因がよくわからないので見なかった事にします(をぃ
ダウンロード：maps.google.co.jp_013.zip
設置方法については付属のドキュメントをご参照ください。
利用するには楽天DeveloperIDが必要です。
ご不明な点はコメントかメールを頂ければ可能な限り対応させて頂きますが、基本的に素人が手探りで作ってますのであまりアテにしないでもらえると助かります。
※OpenPNEの公式SNSにも出没します。
【で、これは何？】
GoogleMap小窓に周辺のホテルと最寄駅を表示します。
GoogleMap小窓 with 楽天トラベルv0.10
http://digiban.seesaa.net/article/104808906.html
【開発履歴】
2008/9/17 Ver0.13
・MyNETS1.2.0に対応(CMD形式のURLに対応)
・FireFoxで見た時にリストのバレットが枠からはみ出して表示されていたのでバレットが表示されないよう明示的に指定
2008/8/30 Ver0.12
・携帯でも同様の情報が表示されるようにした。
2008/8/28 Ver0.11
・周辺のホテルが10件に満たない場合にScriptエラーを履いてた＆楽天トラベルのロゴが表示されていなかったのを修正
・最寄り駅も表示するようにした。
【変更点】
開発履歴に記載した通りです。
作者のMyNETS移行に伴い、MyNETSのCMD形式のリンクでも同様の表示が行えるようにしました。
【所感】
IEとFireFoxでよくよく見比べてみたら、最寄り駅と宿泊施設の情報がIEでは地図の下に、FireFoxでは地図の上に表示されている。。。
出来れば統一したいけど、原因がよくわからないので見なかった事にします(をぃ
| 
