Wikileaks Cablegate

Posted on Nov 27 -

Ici un log de la récupération des cables sur le site cablegate.wikileaks.org.


10/12/2010

La version mobile pour explorer les logs wikileaks est disponible: http://wikileaks.tetalab.org/mobile

A chaque update, un script ruby mobile.rb génère automatiquement les fichiers html qui sont ensuite interprétés par jquery-mobile.


03/12/2010

Avec l’aide d’Arne, Thomas et Fabrice, on a redémarré le serveur git sur la nouvelle dedibox: git.tetalab.org

Grâce à ce repo git, les changements entre les releases sont maintenant disponibles:

git.tetalab.org/index.php/p/cablegate/timeline/

Si vous voulez récupérer les cables en mode texte, vous pouvez aussi le faire depuis chez vous grâce à ce script ruby (manuel d’installation de ruby et rubygems non inclus):

cablegate_to_txt.rb - Download

Une crontab est maintenant installée, elle lance ce script toutes les 20 minutes, et fournie les infos sur le twitter du tetalab: twitter.com/tetalab (il y a d’autres services a connecter, mais pour l’instant je voulais mettre a jour sur l’espace avec le plus d’activité a propos de ce leak).


02/12/2010

Le script de scraping est disponible en ruby sur: https://gist.github.com/719468 (ne fonctionne plus, nouvelle version bientot)

Les derniers cables sont disponibles sur http://www.tetalab.org/cablegate_txt_last.zip


01/12/2010 - matin

grosse lancée de cables, avec maintenant 473 cables dans l’archives.

diff: http://pastebin.com/J4Qq9sMG

Bizarrement, pendant l’attaque d’hier soir, j’ai récupérer 2 cables qui ne sont plus sur le site officiel (471 cables annoncés sur le site), le site annonçant 294 cables, puis 291 cables.


30/11/2010 - soir

294 cables diffusés

  • cables/08BRASILIA129.txt
  • cables/08BRASILIA236.txt
  • cables/08BRASILIA351.txt
  • cables/08BRASILIA429.txt
  • cables/09BRASILIA1315.txt
  • cables/09BRASILIA93.txt
  • classification/CONFIDENTIAL/08BRASILIA129.txt
  • classification/CONFIDENTIAL/08BRASILIA236.txt
  • classification/CONFIDENTIAL/08BRASILIA351.txt
  • classification/CONFIDENTIAL/08BRASILIA429.txt
  • classification/CONFIDENTIAL/09BRASILIA1315.txt
  • classification/CONFIDENTIAL/09BRASILIA93.txt
  • dates/2008/01/08BRASILIA129.txt
  • dates/2008/02/08BRASILIA236.txt
  • dates/2008/03/08BRASILIA351.txt
  • dates/2008/03/08BRASILIA429.txt
  • dates/2009/01/09BRASILIA93.txt
  • dates/2009/11/09BRASILIA1315.txt
  • origin/Embassy Brasilia/08BRASILIA129.txt
  • origin/Embassy Brasilia/08BRASILIA236.txt
  • origin/Embassy Brasilia/08BRASILIA351.txt
  • origin/Embassy Brasilia/08BRASILIA429.txt
  • origin/Embassy Brasilia/09BRASILIA1315.txt
  • origin/Embassy Brasilia/09BRASILIA93.txt

30/11/2010 - après-midi

On arrive a 288 cables diffusés

  • cables/06MADRID1914.txt
  • cables/06MADRID293.txt
  • cables/07MADRID520.txt
  • cables/07MADRID546.txt
  • cables/07MADRID911.txt
  • cables/09LONDON2303.txt
  • cables/09MADRID614.txt
  • classification/CONFIDENTIAL/07MADRID520.txt
  • classification/CONFIDENTIAL/07MADRID546.txt
  • classification/CONFIDENTIAL/NOFORN/07MADRID911.txt
  • classification/SECRET/06MADRID1914.txt
  • classification/SECRET/NOFORN/09LONDON2303.txt
  • classification/SECRET/NOFORN/09MADRID614.txt
  • classification/UNCLASSIFIED/FOR OFFICIAL USE ONLY/06MADRID293.txt
  • dates/2006/02/
  • dates/2006/07/
  • dates/2007/03/07MADRID520.txt
  • dates/2007/03/07MADRID546.txt
  • dates/2007/05/07MADRID911.txt
  • dates/2009/06/09MADRID614.txt
  • dates/2009/10/09LONDON2303.txt
  • origin/Embassy London/09LONDON2303.txt
  • origin/Embassy Madrid/06MADRID1914.txt
  • origin/Embassy Madrid/06MADRID293.txt
  • origin/Embassy Madrid/07MADRID520.txt
  • origin/Embassy Madrid/07MADRID546.txt
  • origin/Embassy Madrid/07MADRID911.txt
  • origin/Embassy Madrid/09MADRID614.txt

29/11/2010 - soir

Troisième update des la journée, avec 3 nouveaux cables, dont un sympa sur la vie des oligarches Kazaks. Diff des fichiers pastebin.

  • cables/08ASTANA760.txt
  • cables/08BISHKEK1095.txt
  • cables/09ASTANA677.txt
  • classification/CONFIDENTIAL/08ASTANA760.txt
  • classification/CONFIDENTIAL/08BISHKEK1095.txt
  • classification/CONFIDENTIAL/09ASTANA677.txt
  • dates/2008/04/08ASTANA760.txt
  • dates/2008/10/08BISHKEK1095.txt
  • dates/2009/04/09ASTANA677.txt
  • origin/Embassy Astana/
  • origin/Embassy Bishkek/08BISHKEK1095.txt
  • rel_date/2010/11/29/

En suivant les diff sur git, les tags “Terrorism” et “TFH01” ont été supprimés

-TAGS: PTER PINS ASEC EPET MCAP IR IZ AE Terrorism
+TAGS: PTER PINS ASEC EPET MCAP IR IZ AE

-TAGS: PGOV KDEM KJUS TFH01 HO
+TAGS: PGOV KDEM KJUS HO

La structure du script ruby a été aussi modifié pour prendre en compte le rel_date during le scraping.


29/11/2010 - après-midi

Deuxième update avec des cables venant de l’ambassade à Paris.

Diff des fichiers sur pastebin.

  • classification/CONFIDENTIAL/07PARIS159.txt
  • classification/CONFIDENTIAL/07PARIS2440.txt
  • classification/CONFIDENTIAL/07PARIS3668.txt
  • classification/CONFIDENTIAL/07PARIS3733.txt
  • classification/CONFIDENTIAL/07PARIS3956.txt
  • classification/CONFIDENTIAL/07PARIS743.txt
  • classification/CONFIDENTIAL/08PARIS114.txt
  • classification/SECRET/07PARIS170.txt
  • classification/SECRET/07PARIS257.txt
  • classification/SECRET/07PARIS4685.txt
  • classification/SECRET/09PARIS1097.txt
  • classification/SECRET/NOFORN/09PARIS1461.txt
  • classification/SECRET/NOFORN/09PARIS1473.txt
  • classification/SECRET/NOFORN/10PARIS174.txt
  • classification/SECRET/NOFORN/10PARIS193.txt
  • classification/SECRET/NOFORN/10PARIS71.txt
  • classification/SECRET/NOFORN/10STATE13750.txt
  • dates/2007/01/07PARIS159.txt
  • dates/2007/01/07PARIS170.txt
  • dates/2007/01/07PARIS257.txt
  • dates/2007/02/07PARIS743.txt
  • dates/2007/06/07PARIS2440.txt
  • dates/2007/09/
  • dates/2007/12/
  • dates/2008/01/08PARIS114.txt
  • dates/2009/08/09PARIS1097.txt
  • dates/2009/10/09PARIS1461.txt
  • dates/2009/11/09PARIS1473.txt
  • dates/2010/01/10PARIS71.txt
  • dates/2010/02/10PARIS174.txt
  • dates/2010/02/10PARIS193.txt
  • dates/2010/02/10STATE13750.txt
  • origin/Embassy Paris/07PARIS159.txt
  • origin/Embassy Paris/07PARIS170.txt
  • origin/Embassy Paris/07PARIS2440.txt
  • origin/Embassy Paris/07PARIS257.txt
  • origin/Embassy Paris/07PARIS3668.txt
  • origin/Embassy Paris/07PARIS3733.txt
  • origin/Embassy Paris/07PARIS3956.txt
  • origin/Embassy Paris/07PARIS4685.txt
  • origin/Embassy Paris/07PARIS743.txt
  • origin/Embassy Paris/08PARIS114.txt
  • origin/Embassy Paris/09PARIS1097.txt
  • origin/Embassy Paris/09PARIS1461.txt
  • origin/Embassy Paris/09PARIS1473.txt
  • origin/Embassy Paris/10PARIS174.txt
  • origin/Embassy Paris/10PARIS193.txt
  • origin/Embassy Paris/10PARIS71.txt
  • origin/Secretary of State/10STATE13750.txt

29/11/2010 - matin

Première update des cables avec un article concernant le Brésil.

Diff des fichiers sur pastebin.

  • cables/05BRASILIA1207.txt
  • cables/08BRASILIA43.txt
  • cables/08BRASILIA504.txt
  • cables/09BRASILIA1540.txt
  • cables/09RIYADH1121.txt
  • cables/09SAOPAULO653.txt
  • cables/09SAOPAULO663.txt
  • classification/CONFIDENTIAL/09RIYADH1121.txt
  • classification/CONFIDENTIAL/09SAOPAULO653.txt
  • classification/CONFIDENTIAL/NOFORN/08BRASILIA504.txt
  • classification/CONFIDENTIAL/NOFORN/09SAOPAULO663.txt
  • classification/SECRET/05BRASILIA1207.txt
  • classification/SECRET/NOFORN/08BRASILIA43.txt
  • classification/UNCLASSIFIED/09BRASILIA1540.txt
  • dates/2005/05/05BRASILIA1207.txt
  • dates/2008/01/08BRASILIA43.txt
  • dates/2008/04/08BRASILIA504.txt
  • dates/2009/08/09RIYADH1121.txt
  • dates/2009/11/09SAOPAULO653.txt
  • dates/2009/12/09BRASILIA1540.txt
  • dates/2009/12/09SAOPAULO663.txt
  • origin/Consulate Sao Paulo/
  • origin/Embassy Brasilia/
  • origin/Embassy Riyadh/09RIYADH1121.txt
  • rel_date/2010/11/05BRASILIA1207.txt
  • rel_date/2010/11/08BRASILIA43.txt
  • rel_date/2010/11/08BRASILIA504.txt
  • rel_date/2010/11/09BRASILIA1540.txt
  • rel_date/2010/11/09RIYADH1121.txt
  • rel_date/2010/11/09SAOPAULO653.txt
  • rel_date/2010/11/09SAOPAULO663.txt

Other Posts