Que faire avec les données d'internet?

[lefauve]

Salut à tous,

J'ai une petite interrogation, que faire avec toute les données d'internet. Nous générons des milliers de terrabyte à heure, mais je doute que sur ce volume impressionnant soit pertinant. Allons nous garder toute les photos insignifiantes comme les photos de bouffe ou de chat? Comment déterminer ce qui vaut la peine d'être gardé? Est-ce qu'on à envie que tout soit préservé pendant des milliers d'années? Ici même est-ce toute nos conversation vallent la peine d'être gardé?

[Lulu Cypher]

Bé oui toutes nos conversations sont la perfection même ... des moments d'anthologie ... la preuve : nos deux messages ... et encore tu n'as pas lu ceux qui vont suivre

[Invité]

Salut lefauve.

Des terra-(ou peta ou exa)octets de données qui sont générés, c'est souvent moins le contenu qui est intéressant pour ceux qui analysent ou stockent les big-data, que les corrélations, les préférences des groupes de consommateur, les aspirations des électeurs, les tendances du marché, etc.

Sauf peut-être pour certains individus en vue (politiciens, vedettes, terroristes,,,) on va probablement finir par perdre ces tonnes de messages soit volontairement soit accidentellement ou par incompatibilité des format de fichiers. Par exemple les premiers messages de ce forum sont difficile à retrouver et il suffira d'un bon plantage et de backups endommagés pour que les archives de ce forum finissent par disparaître complètement). Certains messages sont archivés par google mais encore là on revient au problème d'incompatibilité de format de fichiers ou de support informatique qui va surgir un jour ou l'autre.

I.

[jean7]

Les données internet présentent un inconvénient majeur par rapport aux données imprimées : on ne peut pas se torcher avec.



En fait, ce qui n'est pas repris sous forme papier est il me semble voué à une disparition inéluctable.
Outre les problèmes de vulnérabilité et de compatibilité, ce message souffrira de la dilution.

Puisqu'à 12 CH il n'y a plus de molécule d'origine du produit dilué, que pourrait-il rester de ces quelques mots dans l'océan du net ?

[Denis]

Salut lefauve,

Tu demandes :

que faire avec toute les données d'internet. Nous générons des milliers de terrabyte à heure, mais je doute que sur ce volume impressionnant soit pertinant. Allons nous garder toute les photos insignifiantes comme les photos de bouffe ou de chat? Comment déterminer ce qui vaut la peine d'être gardé?

Le plus simple, c'est de tout conserver.

Étant donnée la Super-Loi de Moore (le coût de storage des données est divisé par 5 à chaque semaine), la solution grandit plus vite que le problème.

Denis

[lefauve]

Salut lefauve,

Le plus simple, c'est de tout conserver.

Étant donnée la Super-Loi de Moore (le coût de storage des données est divisé par 5 à chaque semaine), la solution grandit plus vite que le problème.

Denis

Disons que la loi de moore vient de décéder après une longue maladie.

http://www.huffingtonpost.fr/2016/03/28 ... 47240.html

En fait le problème commence à se manifester. Garder des données dans un centre à un coût réel en énergie et en matière première. Tout garder n'est plus une option viable.

Salut lefauve.

Des terra-(ou peta ou exa)octets de données qui sont générés, c'est souvent moins le contenu qui est intéressant pour ceux qui analysent ou stockent les big-data, que les corrélations, les préférences des groupes de consommateur, les aspirations des électeurs, les tendances du marché, etc.

Sauf peut-être pour certains individus en vue (politiciens, vedettes, terroristes,,,) on va probablement finir par perdre ces tonnes de messages soit volontairement soit accidentellement ou par incompatibilité des format de fichiers. Par exemple les premiers messages de ce forum sont difficile à retrouver et il suffira d'un bon plantage et de backups endommagés pour que les archives de ce forum finissent par disparaître complètement). Certains messages sont archivés par google mais encore là on revient au problème d'incompatibilité de format de fichiers ou de support informatique qui va surgir un jour ou l'autre.

I.

Les formats de donné sont aussi de plus en plus stable. La norme ascii pour le texte est encore largement utilisé pour les fichiers texts et le pdf se défini comme la norme pour le texte enrichi sous la norme iso 32000. Le png s'établis comme étant la norme pour les images. Les efforts de normalisations commence à porté fruit. On vient d'atteindre un stade où l'informatique va progresser beaucoup moins vites mais va grandement se standardiser.

[Invité]

Les formats de donné sont aussi de plus en plus stable. La norme ascii pour le texte est encore largement utilisé pour les fichiers texts et le pdf se défini comme la norme pour le texte enrichi sous la norme iso 32000. Le png s'établis comme étant la norme pour les images. Les efforts de normalisations commence à porté fruit. On vient d'atteindre un stade où l'informatique va progresser beaucoup moins vites mais va grandement se standardiser.

Salut lefauve.

Mais tu parlais de "milliers d'années". Tu penses que le .pdf sera encore là en 3016 ??

Qu'est-qui restera de nos normes actuelles dans 1000 ans ? Les polices de caractères et le glyphes auront probablement explosée ou totalement remplacée par une autre technologie. Et la compatibilité entre les supports informatiques ? On arrive à peine à lire les données d'il y a à peine, 25 ans (disquettes et vidéo VHS/Beta par exemple).

Si tu avais parlé de 50 ans, ton argument je le partagerais, mais c'est toi qui a mentionnée des milliers d'années (en supposant que les humains soient encore là)

I.

[Invité]

Salut Denis.

(le coût de storage des données est divisé par 5 à chaque semaine)

Je me demande où t'as pris ça.

I.

[LoutredeMer]

Il faudra bien conserver d'anciens formats ou alors les convertir régulièrement pour conserver les données virtuelles précieuses et trouver de la place où les stocker, autant que pour les supports papiers millénaires et centenaires qui font la culture d'un pays (et du monde). Ces données sont aussi importantes à conserver que ce qu'on a trouvé dans les bibliothèques, et archives du monde. Je ne parle pas du Facebook de untel, qui disparaitra tot ou tard sans grande perte, mais de données virtuelles scientifiques, archéologiques, juridiques, historiques, politiques, policières etc qu'il est indispensable de conserver puisqu'elles constituent le patrimoine et des bases de recherche et d'utilisation.

Pour l'instant, tout ou presque est encore compatible mais on a connu une certaine légèreté à la conversion des vidéos VHS en numérique. Le résultat en est souvent désastreux. Il faudra donc que ce souci de conservation soit le sujet d'initiatives solides et durables au niveau technologique.

[lefauve]

Mais tu parlais de "milliers d'années". Tu penses que le .pdf sera encore là en 3016 ??

Qu'est-qui restera de nos normes actuelles dans 1000 ans ? Les polices de caractères et le glyphes auront probablement explosée ou totalement remplacée par une autre technologie. Et la compatibilité entre les supports informatiques ? On arrive à peine à lire les données d'il y a à peine, 25 ans (disquettes et vidéo VHS/Beta par exemple).

Si tu avais parlé de 50 ans, ton argument je le partagerais, mais c'est toi qui a mentionnée des milliers d'années (en supposant que les humains soient encore là)

I.

Quand l'électronique et l'informatique était en pleine effervescence les standards ne dure pas. Mais l'électronique et l'informatique sont rendu mature, les standards vont évoluer mais beaucoup plus lentement. La mécanique à aussi eu le même problème mais c'est grandement calmé lorsque elle est devenu mature.

En passant, le latin est encore connu après que des milliers d'années se sont écoulé depuis l'effondrement de l'empire romain.

[lefauve]

Il faudra bien conserver d'anciens formats ou alors les convertir régulièrement pour conserver les données virtuelles précieuses et trouver de la place où les stocker, autant que pour les supports papiers millénaires et centenaires qui font la culture d'un pays (et du monde). Ces données sont aussi importantes à conserver que ce qu'on a trouvé dans les bibliothèques, et archives du monde. Je ne parle pas du Facebook de untel, qui disparaitra tot ou tard sans grande perte, mais de données virtuelles scientifiques, archéologiques, juridiques, historiques, politiques, policières etc qu'il est indispensable de conserver puisqu'elles constituent le patrimoine et des bases de recherche et d'utilisation.

Pour l'instant, tout ou presque est encore compatible mais on a connu une certaine légèreté à la conversion des vidéos VHS en numérique. Le résultat en est souvent désastreux. Il faudra donc que ce souci de conservation soit le sujet d'initiatives solides et durables au niveau technologique.

Voici peut-être la solution.

http://www.popularmechanics.com/technol ... ge-medium/

[yquemener]

Mais tu parlais de "milliers d'années". Tu penses que le .pdf sera encore là en 3016 ??

Sauf catastrophe majeure, oui.
On n'aura sûrement pas le matos pour faire tourner un programme pour le lire mais on aura ce qu'il faut pour l'emuler, ce matos. L'essentiel est que le format soit intelligible, donc avec une spec ouverte, et il peut tout à fait résister à l'épreuve du temps.

Toutes les machines populaires du passé ont des émulateurs, je ne vois pas pourquoi la tendance s'arrêterait.


Quant à faire le tri des données, ça va se faire"tout seul" vu que ce sont les propriétaires de datacenters qui garderont ce qui les arrange quand ça commencera à leur coûter. Beaucoup de monde s'attend à une petite explosion de bulle autour de la pub en ligne. On verra à ce moment-là qui est prêt à payer 1 centimes pour conserver 1000 photos HD de plats cuisinés...

[Jean-Francois]

Mais tu parlais de "milliers d'années". Tu penses que le .pdf sera encore là en 3016 ??

Sauf catastrophe majeure, oui

Surtout si les fichiers et les émulateurs eux-mêmes sont archivés sur ADN, c'est pas la place qui manque.

Jean-François

[Invité]

Les fichiers pdf sont une technologie qui a une certaine utilité aujourd'hui, mais on arrive à peine à en extraire le contenu tout en conservant le format de la page. C'est un format "batard" qui est un accident de parcours. Je le vois relégué aux oubliettes de l'informatiques dans 20 ans.

Je connais pas grand monde qui a plaisir à travailler avec ce genre de technologie.

Parmi ses déficiences:

Incompatibilité d'une version à la suivante.
Format qui demande multiples drivers pour s'afficher.
Souvent plus volumineux qu'in fichier html équivalent.
Ça ne s'édite pas, sauf si on a le fichier texte source (mais si on a ce fichier source à quoi sert le pdf) ?
Une page pdf n'a pas beaucoup plus d'information qu'une image jpeg de cette page. Et c'est parfois plus volumineux.

Pdf en 3016 j'y crois pas beaucoup.

Pour ce qui est du stockage du volume de données qui explose, même si on conservait à peu près tout, le problème sera l'accès à cette information. À moins d'une avancée majeure avec les ordi quantiques, la recherche dans ce volume de données sera impraticable. Et pas d'accès c'est comme si ces données étaient inexistantes.

Et j'ose pas imaginer le volume de données qui sera généré dans le prochain millénaire. Bref tout garder me semble utopique.

...c'est pas la place qui manque.

Suffit pas de stocker faut ensuite trouver dans ce monstre gigantesque l'information qu'on cherche.

I.

[Jean-Francois]

Suffit pas de stocker faut ensuite trouver dans ce monstre gigantesque l'information qu'on cherche

Cela peut certainement être intégré au système de décodage sous la forme d'une sorte de "facteur de transcription" pour reconnaitre et amorcer la lecture de l'émulateur. Cela minimiserait l'information à retenir nécessaire pour partir le système.

Mais on parle pour rien puisque en 3016, 25D aura fini d'établir sa théorie de la Conscience du Toute dans Toute... et tous les problèmes de l'humanité* seront résolus

Jean-François

* Même ceux qui seront inventés d'ici-là.

[Raphaël]

Salut Denis.

(le coût de storage des données est divisé par 5 à chaque semaine)

Je me demande où t'as pris ça.

En divisant par 5 à chaque semaine on arrive à une division par 5^52 (2.22 x 10E36) à la fin de l'année !

Le vrai diviseur est peut-être 1.05

[unptitgab]

Je suis peut être un peu pessimiste, mais je vous trouve bien optimistes de pensez que dans 200 ans l'humanité continuera à utiliser de l'énergie pour l'entretien de méga serveurs. La pénurie d'énergie fossile est inévitable et à moins de trouver le moyen de stocker efficacement l'électricité, l'extraction et le transport des minerais nucléaires seront plus difficiles, la construction de barrages également, pour le moment la fusion est un rêve qui s'il ne se réalise pas avant la pénurie le restera. Je pense réellement que nous vivons une période d'insouciance énergétique qui s'achèvera dans 100 ans grand maximum.

[switch]

Bonjour le fauve,

Comment déterminer ce qui vaut la peine d'être gardé?

C'est bien ça l'enjeu, on sais déjà que certaines données sont exploitées (à très court terme) pour des enquêtes d'opinion, des publicités ciblées, des enquêtes de consommation, des prédictions boursières,.....
Si on ne sais pas encore ce que "valent" toutes nos données, les spécialistes s’accordent sur le fait que ça représente potentiellement une mine d'or. les concepts de Big Data et de data Mining sont très à la mode en ce moment, et comme personne ne sait exactement trier le bon grain de l'ivraie, on se contente de tout garder (big data) dans l'espoir d'en tirer un quelconque profit en lançant des programme inintelligence artificielle qui nous diront ce qu'on peut en faire. Donc tout vaut la peine d'être gardé, et au-delà de l'image de petit chat que tu as posté sur internet, c'est aussi le lieu, l'heure, le type de logiciel, les différents identifiants, la géolocalisation qui sont stockés, regroupés et analysés.