Category Archives: Webプログラミング

IEサポート終了なので。

MSのInternet Explorerのサポートは、2022/06/15で終了。スクレイピングできないサイトのオートパイロットはSHDocVw.dll内のAPIで使用していますが、どうやらDLLはなくならないっぽい。けれど確認は各自してくださいとの事らしい。

Internet explorer end of life: impacts on programs using SHDocVw.DLL – Microsoft Q&A

なので、C#で使えそうなAPIを模索中。WebAPIを公開していてもIPでブロックされて使えないサイト(某Yフ―ショッピング)もあるので結局、オートパイロットでUI上からダウンロードリンクのクリックを再現している。ダウンロードダイアログのダウンロードボタンは、別プログラムでクリックしている。

        
    SHDocVw.InternetExplorer objIE = new SHDocVw.InternetExplorer();
            objIE.Navigate("https://xxxx.com/URLPath");
            objIE.Visible = true;
            objIE.Silent = true;
            objIE.FileDownload += 
         new DWebBrowserEvents2_FileDownloadEventHandler(IE2_FileDownload);

    foreach (HTMLButtonElement b in objIE.Document.getElementsByTagName("button"))
        {

            if (b.name == "btnSubmit")
            {
                //Console.WriteLine(b.type);
                //Console.WriteLine(b.name);
                b.click();
                break;
            }

        }

代用できるAPIがみつかればIEはすぐに捨てていくことにする。できればブラウザのUIを表示しないでスクレイピングのみでやりたいけれど、WebAPIを公開しているのにもかかわらず登録IPのみ処理可能っていうのは、やめてほしい。登録してもPHPを走らせていているサーバはレンタルサーバーのせいか結局はじかれる。よくわからないがサポートと話すくらいならできる方法でやるしかない。
愚痴ってもしょうがない。

ヤフオクAPIの終了について。

先日ヤフーのサイトで発表されていましたが、ヤフオクのAPI が2月で終了するようです。.NETでヤフオク、ヤフーショッピングのAPIを使って商品の検索アプリを作っていましたが、ヤフオクは今度もうちょっと使って見たかったので、非常に残念です。

ヤフオクからオークション終了時間まで検索できていたので、もっとやれることはあると思っていたのに。仕入れに使うなり、短時間で同じ商品をリストアップしたり。

ヤフオクアプリでできるっていや、できるんだけどアプリで生計を立てていると、自社アプリでできないところをついていくのが面白いところなんだけど。

Amazon Echoや、Google Homeとかにも使えるし。やっぱりUIレスなアプリをやって行こうかな。(意味不明)

アフィリエイトでバナーや画像は無意味なのか。

検索エンジンに対して、ちょっとしたテストをしてみた。

ある程度検索エンジンに引っかかるようになったサイトで、アフィリエイトのバナー画像を表示していたのですが、売り上げやクリック数が上がらないので画像をすべてテキストに変えてみた。検索エンジン側では表示されたテキストデータを蓄積していくという想定で、アフィリエイトのテキストリンクが蓄積されて直接リンクがクリックされるのではないかと調査中です。

アフィリエイトで、”儲かりますよ”という記事でアクセス数を上げている人もいるようですが、実はサイト上に表示される多様なテキストの量で検索エンジンに登録されるような気がしている。以前にホテル検索をAJAXとHTML5で動的に結果を表示するサイト作ったことがありましたが、このサイトのヒット数が上がらないのはたぶん、検索エンジンが巡回した時に実データが表示されないからだろう。すべて動的に表示されるサイトは技術的にヒットしない(検索エンジンは表示効果じゃなく、結果のみを見る)のだろうと想定される。

例えば、キーワードの検索結果に直接リンクが表示されるとしたら、ユーザは直接そのリンクをたたくということ。よく日本語の書き方が肝心とか、サイトの書き方とか解説しているサイトも多いですが、単によく検索されるキーワードがテキストで、静的にHTMLで出力されることが条件なのだろう。どこかでテキストリンクが羅列されているサイトを見かけたことがある。掲示板系のサイトもヒットすると想定される。

この記事はただの想定のものだが、しばらく結果を見ようと思う。(究極な話、アフィリエイトのリンクを羅列したサイトでいいのでは?アフィリエイトのサイト審査が通ればの話)

ワードプレスの永久ループ的なサイト内の相互リンクでもいいわけか。それがSEOの仕組みとか?

という事でこの記事が役にたったらしたの広告リンクをクリックしてサポートお願いします。ドメインもレンタルサーバも安くできますよ!。

IRKitというデバイスの可能性

Andruinoをベースした学習リモコンがいい感じですね。どうやらこのIRKit自体がウェブサーバになっていて、RESTやら、JSONでURLにコマンドを送ることで所定のIR信号を送信するようになっているようだ。HTTPサービス(apatche)で稼働しているようなので難なくカスタマイズもできそう。ハードウェアもオープンソースで回路が公開されている。一般ユーザもiPhoneアプリでWifi経由でコマンドが送れるようになっている。便利そうだ。

オフィシャルページ:http://maaash.jp/

いくつかの参考になるページ

http://y-nmc.blogspot.jp/2014/03/irkit.html 

音声合成との相性もいいはずだ。PCのUSB接続で使えるIRが売られていればそれでいいっていう感じもするが。HTTPで単体で動くというのがうれしい。

ヤフオク!サーチのヤフオクへのリンクが表示できない件

ヤフオクサーチ!からオークションで落札していただいた方、大変ありがとうございます。現在ヤフオクサーチ!でヤフオク落札ページへのリンクが表示されなくなっています。こちらで問題点の修正報告をします。

表示されなくなっていた原因は、アクセス数をカウントするために使っていたアフェリエイト(Valuecommerce)サイトでヤフオク!の契約が解除されていて、リンクを開いてもValuecommerceのページで止まってしまっているのが原因です。修正版ではアフェリエイトのリンクを消しました。単純にヤフオクページに飛びます。

ベクターで、1.0.5を公開しました。今回は直接ファイルを公開ページからダウンロードできるようにしました。

大変ご迷惑をおかけしております。ログを解析したところ2015年5月にヤフオク!のアフェリエイトの条件の更新があったらしく、0.5%の報酬だったのがさらに条件を付けられて自動更新がされなくっているようです。(理由はよくわかりませんが、ヤフオク!からみて新規のユーザが増えない等の理由があるようです。詳しくはこちらで)