昨日ブログに書いたAPIの話も今日問い合わせが来て、「404エラー(リクエスト先不明)なら、システム構成とネットワークセグメント的にここまではリクエストが通っていていることが状況証拠的に分かるから、リクエストツールの環境不正か、リクエスト先のFWもしくはGWが原因の可能性があるのでこの方法で切り分けをしてほしい」と、

はったりをかました。

実はまだ何の構成も分かっていないし、ログにアクセスできる権限のアカウントも払い出されていないし、一部はクローズドな客先環境だったりするので何もわからないに等しいが、はったりだけはかました。

良く言えば、当たらずとも遠からずな回答をして煙に巻いた。

私が不勉強の一介のアプリエンジニアだったらできなかったと思う。

ありがとう応用情報技術者試験、フォーエバー応用情報技術者試験。

2023-09-27

応用情報技術者試験_その9

毎日投稿チャレンジ10日目。

本日も応用情報技術者試験の話。

と言いつつ3回目の「用語」回なので、

ネタ切れ感と

試験の話から明後日の方向に飛んでいる、隔世の感(誤用)がある。

インターネットに公開されているWEBページ(アプリ)から情報を拾ってくる方法がいくつかある。

代表的なのは以下3つだ。

・RSS

・API

・スクレイピング

それぞれ見ていこうと思う。

・RSS

これはWEBページの新着があったときにお知らせしてくれる、お知らせメールのようなもの。

ただしお知らせメールとは違い、WEBページ側に自分のメールアドレスを渡す必要がなく安心。

自前のRSSリーダに、RSSとして公開されているURLを登録すると、新着を通知してくれるというものだ。

ブックマークしたWEBページを巡回して自分から情報を拾いに行く手間が省ける。

RSSリーダはoutlookなどのメーラに標準機能として搭載されているので、設定も簡単だしすぐに使い始めることができる。

RSS提供者はニュースサイトをはじめ多岐にわたり、非常に強力で有用な仕組みである。

ただしRSSを提供していないWEBページの方が圧倒的に多い。

また得られる情報は定型的である。

・API

これもWEBページ側が提供してくれる仕組みである。

規定の形式でWEBページにリクエストを投げると、決まった形式のレスポンスが返ってくるというもの。

形式だけはリクエストもレスポンスも定型的だが、内容は奥深い。

例を挙げた方が分かりが早く、例えば食べログお店検索API。

これは、リクエスト中に検索条件を指定することができる。住所や店名の一部検索などが可能。

そしてレスポンスだが、複数件ヒットしたときはお店情報をリスト化して、0件の時は0件と返してくれる。

なおかつレスポンスは加工しやすい形式になっているので、表にしようがグラフにしようが利用者の思いのままにできる。

APIの欠点として、WEBページ側の公開者がかなり限られ、従量課金制を採用しているところも多い(月に何万回のリクエストまでは無料とか)のと、利用者側にプログラミングスキルが要求されるところが挙げられる。

例に出した食べログ APIだが、数年前に公開が終了している。メリット以上にデメリットが目立つようになったのだろう。

それでも、APIエコノミーと呼ばれる、API提供側も利用側も恩恵が受けられる一大経済圏はネットでは多数観測できる。

・スクレイピング

これはWEBページ側が全く預かり知らないところで行われる、非公式な情報奪取である。

RSSもAPIも公開されていない、または公開されていても相応しい情報が得られない時に、

利用側が勝手に情報を抜き取っていく手法だ。

当然利用側にプログラミングスキルは必要なのだが、やっていることとしたら別に高度ではない泥臭いことだ。

私たちが普段やっているようにWEBページにアクセスして、ページを構成しているHTML上のtab文字をインデックスとしてその記述内容を拾ってくる、これを自動化するだけ。

RPAやVBAでWEBページの特定の箇所を操作したい時、スクレイピングとは呼ばずとも似たようなソースコードを書いたことのある非エンジニアの人もいるかもしれない。

スクレイピングの最大のデメリットは、非公式に行なっていることなので、ある日急にWEBページの仕様が変わったら急に使えなくなることだ。

※RSSとAPIのサービス終了はある程度の猶予をもって教えてもらえる

以上で説明を終えるが、私は今、スクレイピングを使ってサービス開発がしたいなと考えている。

決まった時間に任意の条件にヒットした情報をゲットし、加工してメールしてくれるサービス。

IaaSでサーバを建てたいけどFaaSも使ってみたい。

そんなお話。

ここまで読んでくださりありがとうございました。

2023-09-26

応用情報技術者試験_その8

毎日投稿チャレンジ9日目。

本日は応用情報技術者試験で頻出の用語の話。

「ダークネット」

ダークネット。響きが厨二心をくすぐる。

なんだかカッコいいような、アウトサイダーな響きもする。

ダークウェブという言葉は聞き馴染みがあるだろう。

検索エンジンには決して引っかかってこないようにされているWebページであり(<meta name="robots" content="noindex">が記述されているはず)、

そこには表には出せない情報が飛び交っていて、エログロやら企業流出情報やら学校の裏サイト(今時そんなのあるのだろうか)の宝庫のイメージ。

今回はダークネット。

未使用のIPアドレス空間のことを指す。

IPアドレスとはネットの住所のようなもので、yahoo.co.jpやgoogle.co.jpといったドメインも、人間にわかりやすいように英数字になっているが(DNSという仕組みのおかげ)、

もともとは182.22.24.252とか142.250.199.99とかいう数字の羅列である。

で、IPアドレスには未使用の空きがゴロゴロ存在し、普通の人ならそこにアクセスすることはない。

Google Chromeの検索バーでhttp://182.22.24.252のように当てずっぽうで0以上255以下の数字を4つ並べればアクセスできたり、アクセスできなかったり(この場合はちゃんとしたドメイン所有者のWebページに飛ぶ)が、そんな暇な人はいないからだ。

でもその未使用領域を観測すると、少なくない通信がウロウロしている。

もちろんどこにも辿り着けず生涯を終える通信だが、ダークネット上で何をしているのだろうか。

答えはマルウェアやウィルス。

総当たり戦でIPアドレスを叩き、次の感染先を探しているのだ。

自我はないが自律的。

誰も住んでいない深海の暗闇で、彼らが衝突したり、ニアミスしたり、はたまたひとりぼっちで飛んでいたりする。

帰りのエンジンを積んでいるのに(たどり着いたら操作元のC&Cサーバに自分のありかを伝えて命令を送信してもらう)ほとんどは墜落・消失で終わる。

送信元はロシア、アメリカ、中国。最近はインドも多い。

自分で月数百円でドメインを取得してレンタルサーバを立ててみるとわかるが、1秒で何回も管理者権限でのアクセスが試みられている。

ダークネットは我々の想像より広くて深くて暗い。

今日も悪意をもった通信が彷徨っている。

以上、厨二病でした。

最後まで読んでいただきありがとうございました。

2023-09-26

応用情報技術者試験_その7

毎日投稿チャレンジ8日目。

応用情報技術者試験の勉強方法について。

主に根性論。

私は学生時代、そこそこ勉強ができた。

効率は悪いがテストの点数は取れた。

今現在、特に仕事はできない。

さて応用情報技術者試験だが、出題範囲は広めだ。

テクノロジー系、ストラテジー系とあとはマネジメント系が出題される。

例えば簿記やマーケティング、経営やコンサルの知識もちょぴっとではあるが要求される。

IT分野でも、離散数学から、アプリ、インフラ、ハードウェア、ネットワーク、組み込みとちょっと幅広い。

当然参考書も重ためになる。

ただしITパスポートと基本情報技術者試験から勉強を着実に積み重ねた者には楽な試験である。

(これを言うと顰蹙を買うが)3択が4択になったり、記述式問題が出るようになったりするだけで、それぞれのレベル間の差異はあまりない。出題範囲も同じ。

(顰蹙を買います。IPAの後悔している出題のスコープのシラバスを参照すべきです)

で、勉強方法だが、いかに挫折しないかを突き詰めるべきである。

そして挫折の対義語は完璧主義だ。

最も典型的な失敗例は、参考書の24章を、ひとつひとつ完璧に仕上げていくような勉強法。

1日1章仕上げていけば、1ヶ月以内にインプットとしてはマスタークラスになっているだろう。

ただし人間、24章目に突入する頃には1-15章のことはとうに忘れている。

それに気づいた時、焦りしか生まれない。「これ以上どうやって積み上げればいいんだ…？」と。

なので、序盤のオススメの勉強法(というかみんなやってるのかも)は、早いスパンで参考書を3周する、だ。

1周目など斜め読みでいい。知識定着率は10%でいい。

2周目はちょっとじっくり読む。でも覚えなくていい。「あーこの単用語聞いたことあるかも？」が少し増えればいい。知識定着率は20%でいい。

3周目も2周目と同じスピードで。定着率は25%もあれば十分。「用語を問われても、意味を答えられないしよく分からん」でも、「この章に書いてあった気がする」まで辿り着ければok。

この3周の間に、問題は解かなくていい。ひたすらインプットというか表面をなぞる。

ここまで社会人なら2週間くらいで終わらせれば御の字。

あとはひたすら過去問。分からなければ解説を読んで周辺知識を獲得していく。

2週間くらいは苦痛だと思う。全然解けないからだ。でも参考書と睨めっこするより遥かに右肩上がりの記憶曲線を描いている。それに気づかないのは自分のレベルが上がっていることの逆説的証明。

あとは同じ過去問を繰り返す。一度正解したものも何度も何度も繰り返す。

このフェーズになると参考書は辞書程度に使う。頭から舐め直すなんてことはもう不要。

こうやって参考書を眺め始めてから5週間で、午前問題は7.5割解ける身体になっているはず、、、。

あともう一つ継続の極意を。

どんなに疲れていても、忙しくても、この5週間で「勉強しない日を作らない」こと。

1ページでもいいから参考書を読むとか、1問でもいいから問題を解く。

完璧人間であればあるほど、無意な1日を過ごすと、そのあとに無為な時間を振り返るのが嫌になり、直視することで見える自分の怠惰さに嫌気がさし、2日目もやらなくなるから。

2-4週間後にヤル気が再び湧き上がるかもしれないが、時間がもったいないというか試験リミット的に時すでに遅しになっている可能性もある。

偉そうに言いましたが今日はここまでです。

最後まで読んでいただきありがとうございました。