Bonsoir à tous, Comme certains d’entre vous l’ont remarqué, j’ai ajouté `http://` aux valeurs des attributs `website` qui ne commençaient pas par `http://`. Une discussion sur un de mes changeset a commencé [1] et je pense judicieux de la continuer ici. En premier lieu je tiens à m’excuser ne pas avoir notifié la mailing list de mes intentions comme la mentionné datendelphin. D’autre part, comme indiqué dans les commentaires du changeset, je n’ai pas contrôlé les URL une par une mais reproduit le comportement que faisaient certains clients (p. ex. osm.org) en ajoutant `http://` aux valeurs qui n’avaient aucun schéma de défini pour respecter la synthaxe des URL [2]. De ce fait, les valeurs qui étaient incorrectes avant le sont toujours après mes modifications (mais par contre les liens qui ne commençaient pas par `www.` sont maintenant cliquables dans ces mêmes clients). A ce sujet, datendelphin m’a fait part en privé par email que plusieurs sites ne sont pas atteignables, à cause de typos (wwe.aesop.com) ou des valeurs incohérentes (`-` qui devient`http://-%60). Donc pour aller au fond de ma démarche, qui était d’améliorer les valeurs saisies dans `website`, est-ce que vous voyez un moyen pour régler les deux principaux problèmes qui sont : 1. Le site n’existe pas ou plus (HTTP 40x?) 2. Le site est accessible en `https` (HTTP 301?) Merci d’avance pour vos suggestions et bonne soirée. Rémi
[1] https://www.openstreetmap.org/changeset/55231745 [2] https://wiki.openstreetmap.org/wiki/Key:website#Format
Salut Rémi,
I guess we need a periodic job that tries to fetch all the URLs and spits out a list of URL with problems. Of course, that list must be reviewed by humans... :-\
(I am doing this exact thing for another (very small) project and a weekly check of a few hundred links gives a low one-digit number of things to fix each week. From websites that simply dissapear to new domain names... you get everything.)
Rgds Roman
Quoting Rémi Bovard remi.bovard@gmail.com:
Bonsoir à tous, Comme certains d’entre vous l’ont remarqué, j’ai ajouté `http://` aux valeurs des attributs `website` qui ne commençaient pas par `http://`. Une discussion sur un de mes changeset a commencé [1] et je pense judicieux de la continuer ici. En premier lieu je tiens à m’excuser ne pas avoir notifié la mailing list de mes intentions comme la mentionné datendelphin. D’autre part, comme indiqué dans les commentaires du changeset, je n’ai pas contrôlé les URL une par une mais reproduit le comportement que faisaient certains clients (p. ex. osm.org) en ajoutant `http://` aux valeurs qui n’avaient aucun schéma de défini pour respecter la synthaxe des URL [2]. De ce fait, les valeurs qui étaient incorrectes avant le sont toujours après mes modifications (mais par contre les liens qui ne commençaient pas par `www.` sont maintenant cliquables dans ces mêmes clients). A ce sujet, datendelphin m’a fait part en privé par email que plusieurs sites ne sont pas atteignables, à cause de typos (wwe.aesop.com) ou des valeurs incohérentes (`-` qui devient`http://-%60). Donc pour aller au fond de ma démarche, qui était d’améliorer les valeurs saisies dans `website`, est-ce que vous voyez un moyen pour régler les deux principaux problèmes qui sont :
- Le site n’existe pas ou plus (HTTP 40x?)
- Le site est accessible en `https` (HTTP 301?)
Merci d’avance pour vos suggestions et bonne soirée. Rémi
[1] https://www.openstreetmap.org/changeset/55231745 [2] https://wiki.openstreetmap.org/wiki/Key:website#Format
Hi,
On Tue, Jan 09, 2018 at 07:25:22AM +0100, Roman Fischer wrote:
Salut Rémi,
I guess we need a periodic job that tries to fetch all the URLs and spits out a list of URL with problems. Of course, that list must be reviewed by humans... :-\
Keepright includes a check for broken website links (https://www.keepright.at and choose 'website' as error).
Gruss
Sarah
(I am doing this exact thing for another (very small) project and a weekly check of a few hundred links gives a low one-digit number of things to fix each week. From websites that simply dissapear to new domain names... you get everything.)
Rgds Roman
Quoting Rémi Bovard remi.bovard@gmail.com:
Bonsoir à tous, Comme certains d’entre vous l’ont remarqué, j’ai ajouté `http://` aux valeurs des attributs `website` qui ne commençaient pas par `http://`. Une discussion sur un de mes changeset a commencé [1] et je pense judicieux de la continuer ici. En premier lieu je tiens à m’excuser ne pas avoir notifié la mailing list de mes intentions comme la mentionné datendelphin. D’autre part, comme indiqué dans les commentaires du changeset, je n’ai pas contrôlé les URL une par une mais reproduit le comportement que faisaient certains clients (p. ex. osm.org) en ajoutant `http://` aux valeurs qui n’avaient aucun schéma de défini pour respecter la synthaxe des URL [2]. De ce fait, les valeurs qui étaient incorrectes avant le sont toujours après mes modifications (mais par contre les liens qui ne commençaient pas par `www.` sont maintenant cliquables dans ces mêmes clients). A ce sujet, datendelphin m’a fait part en privé par email que plusieurs sites ne sont pas atteignables, à cause de typos (wwe.aesop.com) ou des valeurs incohérentes (`-` qui devient`http://-%60). Donc pour aller au fond de ma démarche, qui était d’améliorer les valeurs saisies dans `website`, est-ce que vous voyez un moyen pour régler les deux principaux problèmes qui sont :
- Le site n’existe pas ou plus (HTTP 40x?)
- Le site est accessible en `https` (HTTP 301?)
Merci d’avance pour vos suggestions et bonne soirée. Rémi
[1] https://www.openstreetmap.org/changeset/55231745 [2] https://wiki.openstreetmap.org/wiki/Key:website#Format
talk-ch mailing list talk-ch@openstreetmap.ch http://lists.openstreetmap.ch/mailman/listinfo/talk-ch
Bonjour Rémi,
Merci pour les corrections, c'est une bonne chose. Cela aurait été bien d'en toucher un mot avant :)
Je pense qu'une 2ieme opération pour supprimer les site "-" (et les email "-" aussi) serrait utile. L'idéal serrait même de faire un test plus poussé au minimum 2 caractères,un point, 2 caractères mais ce genre de test est indépendant de rajout du http. Il faudrait vérifier si Osmose et/ou Keepright ne le font pas déjà. Sinon ce serrait utile d'écrire ce module pour éviter de devoir le faire à la main régulièrement dans un outil supplémentaire.
Le 09. 01. 18 à 09:11, Sarah Hoffmann a écrit :
I guess we need a periodic job that tries to fetch all the URLs and spits out a list of URL with problems. Of course, that list must be reviewed by humans... :-\
Keepright includes a check for broken website links (https://www.keepright.at and choose 'website' as error).
Osmose a aussi un module qui vérifie que le site web contient le nom de l'objet en question (mais je ne trouve pas la catégorie qui le fait). Cela m'a déjà permis de corriger des POI qui ont l'url de l'ancien POI.
Concernant http <> https, je ne pense pas qu'il faille tester régulièrement la configuration des sites web pour faire les changements dans osm. Je pense que c'est le rôle d'un site web correctement configuré de rediriger http vers https lorsqu'il le supporte. Pour cette raison, je ne pense pas utile de modifier régulièrement des url http vers https mais je ne suis pas opposé si quelqu'un le fait. Par contre, il peux arriver le problème inverse (un objet osm avec https qui provoque une erreur lorsqu'il ne supporte que http).
Cordialement, Marc
Hi
As Rémi has mentioned, I stumbled on these changesets and I'm a bit critical of them. I did a quick check on the transformed URLs and found that about 10% were broken in the changeset I tested. I think adding http:// is not worth an edit. Rather a check (warning) should be done in editors. For data consumers it is a simple transformation, and that way they can choose to do so or not. I see the remark that http is only added in some cases by data user, and that might be a conscious decision by the data user. Also, adding another version to an object always gives the impression that it is current and someone has looked at it. Some editors highlight POIs that were not edited in a long time.
Thank you to Rémi for sharing your efforts and informing us.
For anyone who would like to improve the quality of website tags, I think checking bad links with keepright is a good thing. And if you found the correct website, maybe even cross check the address and telephone number :) For websites which are gone, we can use notes for example, because the shop could be gone as well.
Michael
On 08/01/18 22:00, Rémi Bovard wrote:
Bonsoir à tous, Comme certains d’entre vous l’ont remarqué, j’ai ajouté `http://` aux valeurs des attributs `website` qui ne commençaient pas par `http://`. Une discussion sur un de mes changeset a commencé [1] et je pense judicieux de la continuer ici. En premier lieu je tiens à m’excuser ne pas avoir notifié la mailing list de mes intentions comme la mentionné datendelphin. D’autre part, comme indiqué dans les commentaires du changeset, je n’ai pas contrôlé les URL une par une mais reproduit le comportement que faisaient certains clients (p. ex. osm.org http://osm.org) en ajoutant `http://` aux valeurs qui n’avaient aucun schéma de défini pour respecter la synthaxe des URL [2]. De ce fait, les valeurs qui étaient incorrectes avant le sont toujours après mes modifications (mais par contre les liens qui ne commençaient pas par `www.` sont maintenant cliquables dans ces mêmes clients). A ce sujet, datendelphin m’a fait part en privé par email que plusieurs sites ne sont pas atteignables, à cause de typos (wwe.aesop.com http://wwe.aesop.com) ou des valeurs incohérentes (`-` qui devient`http://-%60). Donc pour aller au fond de ma démarche, qui était d’améliorer les valeurs saisies dans `website`, est-ce que vous voyez un moyen pour régler les deux principaux problèmes qui sont :
- Le site n’existe pas ou plus (HTTP 40x?)
- Le site est accessible en `https` (HTTP 301?)
Merci d’avance pour vos suggestions et bonne soirée. Rémi
[1] https://www.openstreetmap.org/changeset/55231745 [2] https://wiki.openstreetmap.org/wiki/Key:website#Format
talk-ch mailing list talk-ch@openstreetmap.ch http://lists.openstreetmap.ch/mailman/listinfo/talk-ch
Je trouve qu'on peux difficilement reprocher à Remi d'avoir corrigé 90% des erreurs au lieu de 100% Bien sur cela modifie le timestamp que certains outils utilisent.
Pour avoir une meilleur qualité, il faudrait : - un plugin qui teste la validité d'une url dans josm. cela permettrait d'être au courant avant l'upload Mais souvent quand on fait une correction en masse, il y a des centaines d'anomalies. Je trouve bien d'avoir un changeset par sujet. Dans ce cas, cela voudrait dire de ne pas faire le correctif sur les objets dont l'url est incorrecte parce que peut-être que quelqu'un voudrait utiliser le timestamp pour vérifier les vieux objets. Ce n'est pas idéal.
- améliorer l'outil "vieux objets" pour tenir compte des changements qui ne concerne qu'un correctif de tag (une proposition a été faite pour ajouter type=fix sur le changeset mais aucune outil ne l'utilise à ma connaissance). Certains outils utilisent un mix du timestamp et de survey:date https://geocropping.xsalto.com/ Mais ce n'est pas parfait.
Le 09. 01. 18 à 20:54, michael spreng a écrit :
Hi
As Rémi has mentioned, I stumbled on these changesets and I'm a bit critical of them. I did a quick check on the transformed URLs and found that about 10% were broken in the changeset I tested. I think adding http:// is not worth an edit. Rather a check (warning) should be done in editors. For data consumers it is a simple transformation, and that way they can choose to do so or not. I see the remark that http is only added in some cases by data user, and that might be a conscious decision by the data user. Also, adding another version to an object always gives the impression that it is current and someone has looked at it. Some editors highlight POIs that were not edited in a long time.
Thank you to Rémi for sharing your efforts and informing us.
For anyone who would like to improve the quality of website tags, I think checking bad links with keepright is a good thing. And if you found the correct website, maybe even cross check the address and telephone number :) For websites which are gone, we can use notes for example, because the shop could be gone as well.
Michael
On 08/01/18 22:00, Rémi Bovard wrote:
Bonsoir à tous, Comme certains d’entre vous l’ont remarqué, j’ai ajouté `http://` aux valeurs des attributs `website` qui ne commençaient pas par `http://`. Une discussion sur un de mes changeset a commencé [1] et je pense judicieux de la continuer ici. En premier lieu je tiens à m’excuser ne pas avoir notifié la mailing list de mes intentions comme la mentionné datendelphin. D’autre part, comme indiqué dans les commentaires du changeset, je n’ai pas contrôlé les URL une par une mais reproduit le comportement que faisaient certains clients (p. ex. osm.org http://osm.org) en ajoutant `http://` aux valeurs qui n’avaient aucun schéma de défini pour respecter la synthaxe des URL [2]. De ce fait, les valeurs qui étaient incorrectes avant le sont toujours après mes modifications (mais par contre les liens qui ne commençaient pas par `www.` sont maintenant cliquables dans ces mêmes clients). A ce sujet, datendelphin m’a fait part en privé par email que plusieurs sites ne sont pas atteignables, à cause de typos (wwe.aesop.com http://wwe.aesop.com) ou des valeurs incohérentes (`-` qui devient`http://-%60). Donc pour aller au fond de ma démarche, qui était d’améliorer les valeurs saisies dans `website`, est-ce que vous voyez un moyen pour régler les deux principaux problèmes qui sont :
- Le site n’existe pas ou plus (HTTP 40x?)
- Le site est accessible en `https` (HTTP 301?)
Merci d’avance pour vos suggestions et bonne soirée. Rémi
[1] https://www.openstreetmap.org/changeset/55231745 [2] https://wiki.openstreetmap.org/wiki/Key:website#Format
talk-ch mailing list talk-ch@openstreetmap.ch http://lists.openstreetmap.ch/mailman/listinfo/talk-ch
talk-ch mailing list talk-ch@openstreetmap.ch http://lists.openstreetmap.ch/mailman/listinfo/talk-ch
-
marc marc -
michael spreng -
Roman Fischer -
Rémi Bovard -
Sarah Hoffmann