So-net無料ブログ作成

Googleが検索結果の順位付けをモバイル向けサイト中心にするそうです。 [P2P検索エンジン YaCy]

Google社からインターネット検索サーヴィスに関する非常に重大な発表があったそうです。

"INTERNET Watch" の記事 "Google、検索インデックスでモバイル版コンテンツを優先する変更を発表" のURL:
http://internet.watch.impress.co.jp/docs/news/1028566.html

ImpressのINTERNET Watchの2016年11月7日の記事によりますと、インターネット検索エンジンで最大のシェアを持つGoogle社が、今後はインターネット上のコンテンツの検索結果の順位付け(ページランク評価)及び、索引(インデックス)を作成する際のコンテンツの構造化データ解析や、検索結果へのスニペット表示の為に、デスクトップ端末向けのサイトやページではなくモバイル向け(スマートフォン向け)に作られたサイトやページを中心に使用するようにアルゴリズムに変更を加えるとの事です。

この変更による変化は、検索サーヴィスの利用者から見ると、検索結果ページの最初の方のページかつページの上位にモバイル向けサイトが来るようになり、デスクトップ向けサイトは後の方のページかつページの下位に表示されるようになる事が予想されます。
また、コンテンツ作成者及びウェブサイト所有者から見ると、モバイル向けに最適に作られていないサイトはアクセスが激減する可能性があるものと想像されます。
デスクトップ版のウェブサイトのみを作成しており、スマートフォンなどのモバイル向けに最適化していない場合には非常に困る事になるかもしれません。

Google社は自社の検索サーヴィス利用者の内、モバイル端末からの検索が多数を占めるようになった事から、検索サーヴィスを多数派のユーザー向けに最適化する事にした訳です。

しかしながら、モバイル端末の世界は少数のキャリアとOS メーカーによってほぼ完全に支配されており、利用者の情報は何から何までほとんど全て収集、分析し、プロファイルとして管理し、場合によっては企業同士や政府にさえ個人情報を渡しているとされています。
アメリカのCIAなどは通信内容さえ覗き見ているという証拠があり、その証拠の一つがあの有名なスノーデン ファイルです。
同様に少なくともアメリカなどの警察組織もモバイル端末内のデータや通信履歴などを見る事が出来るそうです。
今後デスクトップ端末及びデスクトップ端末向けのウェブサイトやインターネット コンテンツが廃れてしまえば、世界中の人々がそうした特定の大企業の支配下、管理下に置かれてしまう事となります。
これは非常に危惧すべき事態であると思います。

ここへ来て、P2P通信技術を用いた分散型インターネット検索エンジンである " YaCy " の重要性が急上昇して来たのかもしれません。
YaCyはドイツの人々が中心となって開発して来た検索エンジンです。
私は何度も同じ事を書きますが、YaCyを利用する事により、国家や企業によるインターネットの検閲、不正、不当なフィルタリングを防ぐ事が可能です。
加えて、もしもGoogleやMicrosoftがYahoo!のようにインターネット検索事業を放棄してしまったとしても、YaCyがあれば世界のウェブサイトを検索する事が可能です。

以下は暫く前のヴァージョンのYaCyのスクリーンショット画像です。ブラウザーはFirefoxです。
YaCy_SS_(2015_06_25)_1_Edited_1 分散型インターネット検索エンジン "YaCy" のスクリーンショット画像。検索結果の一覧が表示されている。
https://c1.staticflickr.com/1/751/22190971565_8a57afc081_o.png

"YaCy" の公式ウェブサイトのURL:
http://yacy.net/en/index.html

私のYaCy ピアには既に30,000,000以上のインターネット上のコンテンツの索引がございます。
どうぞYaCy検索エンジンを御使用下さい。その際は1日当たり30分位からでも良いですので、根気強く長期的に御使用下さい。


YaCyの導入の仕方やアップデートの仕方等につきましては以前の私の記事を御覧下さい。

[ブログ記事]
分散型検索エンジン "YaCy" が正式に日本語化されました。
http://crater.blog.so-net.ne.jp/2016-02-25

検索エンジン "YaCy" は実用性充分です。
http://crater.blog.so-net.ne.jp/2015-10-15

分散型検索エンジン YaCy の導入解説
http://crater.blog.so-net.ne.jp/2015-07-21

分散型検索エンジン YaCy のアップデート
http://crater.blog.so-net.ne.jp/2015-06-25

分散型検索エンジンYaCyについての解説動画
http://crater.blog.so-net.ne.jp/2015-03-22

Ubuntu PCでYaCy検索エンジンの為のポート開放の設定
http://crater.blog.so-net.ne.jp/2014-11-06


" YaCy " の開発用GitHub ページのURL:
https://github.com/yacy/yacy_search_server
nice!(3)  コメント(15)  トラックバック(0) 

nice! 3

コメント 15

自分抜け)

初めまして。昨今のGoogle周りの話題(キュレーションサイトの検索上位独占)により、オルタナ検索エンジンの必要性を感じ始め、貴ウェブサイトにたどり着きました。
今後、P2Pでのウェブページインデックスというのはより重要になっていくと思います。
各検索エンジンのユーザビリティ追求はされているとおもいますが、やはりそれと同時に多党制(つまりオルタナ検索エンジン)が絶対に必要ですね。

日本人の検索ツールは私も含め、ほぼGoogle一色ですからね。

当件、知るきっかけをくださり、ありがとうございました。
by 自分抜け) (2016-12-09 15:47) 

Sutraus

自分抜け) 様、こんにちは。
DeNA社のサイト閉鎖問題以降、粗製濫造のキュレーション サイト(コンテンツ ファーム)問題について、社会的に注目されておりますね。

仰る通り、私達には、検索エンジンの選択肢が必要だと思っております。
Googleは確かに便利ですが、情報を操る事が可能な状況は危険だと思います。

もちろん、選択肢が必要であるというのは検索に限った事ではなく、人間が人間らしく生きて行く為には自分で選べる自由が必要だと思うのです。

しかし、その自由な選択によって他者、及び社会に損害を与えてもいけない。
「善く生きる」、「最大多数の最大幸福」、「犠牲の最小化」。
人々及び社会が目指すべき方向性は、その3点であると、私は考えます。

P2P通信などの優れた技術も、使い方次第で悪用されることもあります。
YaCyという検索エンジンは、良い使い方の例だと思います。

自分抜け) 様、コメントを下さり、誠にありがとうございます。
by Sutraus (2016-12-09 16:31) 

りゅー

Googleなどの大手検索エンジンは「商用」なので、情報の操作などを行って収益を得ているのかもしれません。恐ろしい時代ですね…

30,000,000件以上もインデックスできるのですか!
それほどインデックスすると一体どのくらいの量になるのですか?10GB?それ以上ですか?
by りゅー (2017-01-07 16:48) 

Sutraus

りゅー さん、こんにちは。
コメントありがとうございます。

商用検索エンジンは国によっては「検閲」を行っていることが公表されております。
また、アメリカのNSAやイギリスのGCHQが世界各国の市民の個人情報を徹底的に収集していることが知られていて、大手IT企業の多くが協力関係にあるとされております。
参考: "スノーデンの警告「僕は日本のみなさんを本気で心配しています」 / 現代ビジネス / 講談社"
http://gendai.ismedia.jp/articles/-/49507

YaCyで私の端末が有しているデータは現在約700[GB]程です。
将来はSSDを導入して検索を高速化したいと思っております。
by Sutraus (2017-01-08 09:43) 

りゅー

700GBですか!!
かなり多いですね…

私も最近、YaCyをWindows機で始めたばかりです。セットアップなどには、貴サイトの情報を利用させていただきました。本当にありがとうございます。

そういえば最近、YaCyのデモノード(yacy.searchlab.eu)の名前がdemo1xからyacy_searchlab_euに変わってみたいです。(どうでも良いですね(汗))
by りゅー (2017-01-08 20:55) 

Sutraus

御協力下さいまして、どうもありがとうございます!

YaCyはヴァージョン 2.0のリリースへ向けて開発が進んでいるようです。
Twitterや公式フォーラムの情報によりますと、YaCy 2.0ではより多くの人が簡単に利用できるように大幅な改良が加えられるようです。
YaCyはユーザーの人数が増えると劇的に検索性能が上がる設計ですので、どうぞ継続的に御利用下さい。(御自身の負担にならない程度に、短時間ずつでも結構です)
また、クロールの他にも色々なキーワードで検索を繰り返すことでインデックス化が進み、精度が上がるようです。
by Sutraus (2017-01-09 08:21) 

りゅー

お久しぶりです。

やっと自分のピアのドキュメントが10万件を越えました!
色々とご教示していただき、感謝しております。

YaCy2.0ですか。色々と使いやすくなるのであれば大歓迎ですね。リリースが楽しみです。

ところで、SENIORモードとPRINCIPALモードの違いは何でしょうか?
by りゅー (2017-03-01 23:02) 

Sutraus

りゅー さん、こんにちは。
"YaCy/2" の開発アルファ版は近々リリースされるようです。楽しみですね。
YaCy/2 の正式リリースがきっかけとなってユーザーが増えてくれることを期待しております。

ところで、りゅー さんはSSDご利用ですか?
SSDを利用するとHDDよりも検索が劇的に速くなるそうです(私はまだHDDのままですが)。

それと、検索精度を上げるにはオプションのWeb Graphを利用すると良いようです。ただしこれを利用するとデータの量が大幅に増えてしまいますが。
因みに私はWeb Graphを利用しております。
Web Graphとは、その名の通り、World Wide Web上のウェブサイトやウェブページのリンク関係をグラフ化したものです。
YaCyの管理ページに設定項目があります。

SENIORとPRINCIPALですが、通常、YaCyネットワークに接続されていて双方向の通信が可能なピアがSeniorで、それに加えてYaCyネットワークのピアのリストをFTP サーバーにアップロードして提供しているピアがPrincipalだそうです。
by Sutraus (2017-03-02 02:45) 

りゅー

SSDですか~
SSDは比較的高額ですので中々手が出せません(笑)

WebGraphはもうすでに利用しております~
初期の段階で設定したため違いはよくわかりません…

SENIORとPRINCIPALの違いはシードを設定しているかどうかだったのですね!!
勉強になりました
by りゅー (2017-03-05 13:26) 

Sutraus

> SSDは比較的高額ですので中々手が出せません(笑)

私もです。。。
NAND フラッシュ メモリーがモバイル需要過多で争奪戦となってしまい、SSDが安くなるどころか、あと半年から1年位は価格上昇が続くそうですね。

> WebGraphはもうすでに利用しております~

おお、そうでしたか。
りゅー さんはPCなどに達者そうですね。

> SENIORとPRINCIPALの違いはシードを設定しているかどうかだったのですね!!

分散型データベースなどにおけるシードですね。その通りだと思います。

ところで私は只今PCをとある作業でフル稼働させているので、1週間程YaCyなどのアプリが使用出来ません。
1週間程経ったらフルパワーでYaCyを稼働させます。
by Sutraus (2017-03-06 00:19) 

りゅー

予算を確保できれば、SSD搭載のPCをYaCy用に稼動させたいと思います!!(野望ですけどね)

>りゅー さんはPCなどに達者そうですね。
いえいえ。それほどでも無いです。
そう言うSutraus 様こそJavaScriptのプロじゃないですか~
JavaScriptなんてAjaxでうにうに動くものすらまともに作れません(涙)

>1週間程経ったらフルパワーでYaCyを稼働させます。
なるほど。そのおかげで、なんだか日本語インデックスの質が低くなった気がしていたのですかね。再稼動お待ちしております!!
by りゅー (2017-03-07 19:31) 

ふぉん

最近、ウィキペディアの検索エンジン内の分散型検索エンジンという項目にて知り、現在Raspberry Piで動かしているのですが、DHTを受け取る設定にしていればクロール等をせずともYaCyを起動していれば自身のデータベースが少しずつ増えていくという認識で合っていますでしょうか?
by ふぉん (2017-03-21 22:30) 

Sutraus

ふぉん さん、こんにちは。
返事が遅くなってしまったこと、ごめんなさい。

>DHTを受け取る設定にしていればクロール等をせずともYaCyを起動していれば自身のデータベースが少しずつ増えていくという認識で合っていますでしょうか?

はい、そうです。またそれに加えてYaCyで検索を行ったときにも索引付けが実行されるようです。
DHTを受け取る設定にした状態で検索を沢山繰り返すとデータベースは充実していくようです。

ところでデータが増え過ぎて困る場合は、管理画面の "RAM/Disk Usage & Updates" -> "Performance" -> "Resource Observer" -> "HDD" -> "disable DHT-in below xxxx MiB free space" という項目でストレージの現在の空き容量と同程度の値を設定してみると良いかもしれません。
by Sutraus (2017-03-23 14:11) 

Sutraus

もし、YaCyのP2P ネットワークへの接続が "Active Principal" または "Active Senior" ではなく、 "Passive Senior" となっている場合、ファイアウォールやルーターの設定で外部からのアクセスが出来なくなってしまっている可能性があります。
お使いのファイアウォールやルーターの設定を変更して双方向の通信が出来るようにしないと、YaCy ネットワークからデータを受け取ることが出来ませんのでお気を付け下さいませ。
by Sutraus (2017-03-23 14:19) 

ふぉん

返答ありがとうございます。
Active Seniorになっており、きちんと設定ができている様なので少しずつ使っていこうと思います。
by ふぉん (2017-03-27 14:16) 

コメントを書く

お名前:
URL:
コメント:
画像認証:
下の画像に表示されている文字を入力してください。

※ブログオーナーが承認したコメントのみ表示されます。

Facebook コメント

トラックバック 0