3. ウェブを収集するしくみ
ウェブアーカイブでは収集ロボット（クローラ）と呼ばれる自動プログラムを用いて、ウェブサイトを収集します。
収集ロボットによる収集
収集ロボットは、最初にスタート地点となるウェブページ（起点URL）にアクセスをします。そして、そのページのhtmlファイルを収集すると同時に、htmlファイル内のソースを解析して文書、画像、音声、動画、スタイルシートなどのファイルを収集します。さらにそこからリンクしているページに移動して、同様の処理を繰り返し行います。
このようにリンクをたどりながらページを移動し続け、新たなリンク先がなくなるまで処理を続けます（収集ロボット Heritrix）。
ウェブページのつくり
ウェブページは、一見するとページが１枚だけあるように見えますが、実際にはhtmlファイルや画像ファイル、スタイルシート、スクリプトファイルなど、多数のファイルが組み合わさって構成されています。
例えば、2014年9月17日時点の国立国会図書館のトップページは以下のように、1つのhtmlファイル、5つのCSSファイル、8つのJavaScriptファイル、61の画像ファイル、合計75のファイルから構成されています。
収集ロボットがこれら全てのファイルを漏れなく収集することで、ウェブページをオリジナルと同じように再現することができるのです。
| ファイルのURL | ファイルの種類 |
|---|---|
| http://www.ndl.go.jp/ | htmlファイル |
| http://www.ndl.go.jp/common/css/common.css | CSSファイル |
| http://www.ndl.go.jp/common/css/noscript.css | |
| http://www.ndl.go.jp/common/css/re_print.css | |
| http://www.ndl.go.jp/common/css/re_top.css | |
| http://www.ndl.go.jp/common/css/search.css | |
| http://www.ndl.go.jp/common/js/calendar.js | JavaScriptファイル |
| http://www.ndl.go.jp/common/js/calendar_holiday.js | |
| http://www.ndl.go.jp/common/js/calendar_summary.js | |
| http://www.ndl.go.jp/common/js/func.js | |
| http://www.ndl.go.jp/common/js/ndlsearch-inside.js | |
| http://www.ndl.go.jp/common/js/search.js | |
| http://www.ndl.go.jp/common/js/tab_change.js | |
| http://www.ndl.go.jp/urchin.js | |
| http://www.ndl.go.jp/common/images/banner_archive.png | 画像ファイル |
| http://www.ndl.go.jp/common/images/banner_ca.gif | |
| http://www.ndl.go.jp/common/images/banner_digi.gif | |
| http://www.ndl.go.jp/common/images/banner_hourei.gif | |
| http://www.ndl.go.jp/common/images/banner_jikocho.gif | |
| http://www.ndl.go.jp/common/images/banner_kaigiroku.gif | |
| http://www.ndl.go.jp/common/images/banner_kindai.gif | |
| http://www.ndl.go.jp/common/images/banner_ndl_opac.gif | |
| http://www.ndl.go.jp/common/images/banner_reference.gif | |
| http://www.ndl.go.jp/common/images/banner_research.gif | |
| http://www.ndl.go.jp/common/images/bg_header.jpg | |
| http://www.ndl.go.jp/common/images/bg_header_l.jpg | |
| http://www.ndl.go.jp/common/images/bg_r_search.gif | |
| http://www.ndl.go.jp/common/images/bg_title_top.gif | |
| http://www.ndl.go.jp/common/images/bnr_kids.jpg | |
| http://www.ndl.go.jp/common/images/bt_event_off.gif | |
| http://www.ndl.go.jp/common/images/bt_issue_off.gif | |
| http://www.ndl.go.jp/common/images/bt_news_off.gif | |
| http://www.ndl.go.jp/common/images/bt_press_off.gif | |
| http://www.ndl.go.jp/common/images/bt_pulldown.gif | |
| http://www.ndl.go.jp/common/images/bt_recruit_off.gif | |
| http://www.ndl.go.jp/common/images/bt_search-b_off.gif | |
| http://www.ndl.go.jp/common/images/bt_search-b2_off.gif | |
| http://www.ndl.go.jp/common/images/copyright_bg.gif | |
| http://www.ndl.go.jp/common/images/footer_bg.gif | |
| http://www.ndl.go.jp/common/images/ico_arrow.gif | |
| http://www.ndl.go.jp/common/images/ico_arrow_c.gif | |
| http://www.ndl.go.jp/common/images/ico_arrow_down.gif | |
| http://www.ndl.go.jp/common/images/ico_etc.gif | |
| http://www.ndl.go.jp/common/images/ico_event.gif | |
| http://www.ndl.go.jp/common/images/ico_home.gif | |
| http://www.ndl.go.jp/common/images/ico_issue.gif | |
| http://www.ndl.go.jp/common/images/ico_news.gif | |
| http://www.ndl.go.jp/common/images/ico_point.gif | |
| http://www.ndl.go.jp/common/images/ico_recruit.gif | |
| http://www.ndl.go.jp/common/images/ico_rss.gif | |
| http://www.ndl.go.jp/common/images/ico_stop.gif | |
| http://www.ndl.go.jp/common/images/logo.jpg | |
| http://www.ndl.go.jp/common/images/menu1-01_off.jpg | |
| http://www.ndl.go.jp/common/images/menu1-02_off.jpg | |
| http://www.ndl.go.jp/common/images/menu1-03_off.jpg | |
| http://www.ndl.go.jp/common/images/menu1-04_off.jpg | |
| http://www.ndl.go.jp/common/images/menu1-05_off.jpg | |
| http://www.ndl.go.jp/common/images/menu1-06_off.jpg | |
| http://www.ndl.go.jp/common/images/menu1-07_off.jpg | |
| http://www.ndl.go.jp/common/images/menu1-title.jpg | |
| http://www.ndl.go.jp/common/images/menu2-01_off.jpg | |
| http://www.ndl.go.jp/common/images/menu2-02_off.jpg | |
| http://www.ndl.go.jp/common/images/menu2-03_off.jpg | |
| http://www.ndl.go.jp/common/images/menu2-04_off.jpg | |
| http://www.ndl.go.jp/common/images/menu2-05_off.jpg | |
| http://www.ndl.go.jp/common/images/menu2-06_off.jpg | |
| http://www.ndl.go.jp/common/images/menu2-title.jpg | |
| http://www.ndl.go.jp/common/images/tab_top_off.gif | |
| http://www.ndl.go.jp/common/images/tab_top_on.gif | |
| http://www.ndl.go.jp/common/images/title_ndl-opac.jpg | |
| http://www.ndl.go.jp/common/images/top_title1.gif | |
| http://www.ndl.go.jp/common/images/top_title2.gif | |
| http://www.ndl.go.jp/jp/spot/__icsFiles/thumbnail/2014/06/16/spot_survey.gif | |
| http://www.ndl.go.jp/jp/spot/__icsFiles/thumbnail/2014/07/03/spot_space.jpg | |
| http://www.ndl.go.jp/jp/spot/__icsFiles/thumbnail/2014/07/14/spot_forum.jpg |
（最終更新日:2014/10/1）