![](https://i0.wp.com/prendrelangue.fr/wp-content/uploads/2024/04/icon-128-1.png?resize=128%2C128&ssl=1)
Une extension pour extraire et télécharger des tweets à des fins de fouille textuelle.
Citer ce programme
Si vous utilisez cette extension pour vos travaux de recherche, veuillez la référencer comme suit :
Moncomble, F. (2024). đ-Scraper (Version 0.4) [JavaScript]. Arras, France : UniversitĂ© d’Artois. Disponible Ă l’adresse : https://fmoncomble.github.io/X-scraper/
Installation
Firefox
![](https://i0.wp.com/prendrelangue.fr/wp-content/uploads/2024/04/Firefox-add-on.png?resize=172%2C60&ssl=1)
Chrome/Edge
![](https://i0.wp.com/prendrelangue.fr/wp-content/uploads/2024/04/available-chrome-web-store4321.jpg?resize=249%2C60&ssl=1)
Pensez Ă Ă©pingler l’extension Ă la barre d’outils.
Mode d’emploi
- Ouvrez đ/Twitter et effectuez une recherche (simple ou avancĂ©e)
- Il est conseillé de créer un compte spécifique pour la récupération automatique de contenu
- Cliquez sur l’icĂŽne de l’extension dans la barre d’outils
- Cliquez sur
Start scraping
- L’interface apparait par-dessus la page web :
- (Facultatif) Définissez le nombre maximum de tweets à récupérer
- Choisissez le format de sortie souhaité :
XML/XTZ
pour un fichier XML Ă importer dans TXM en utilisant le moduleXML/TEI-Zero
- Lors de l’import, ouvrez la section « Plans textuels » et entrez
ref
dans le champ « Hors texte à éditer »
- Lors de l’import, ouvrez la section « Plans textuels » et entrez
TXT
pour du texte brutCSV
XLSX
(tableau Excel)JSON
- Vous pouvez arrĂȘter l’extraction Ă tout moment
- Cliquez sur
Download
pour collecter le résultat
Limites et problĂšmes connus
Nombre excessif de requĂȘtes
L’extension collecte les tweets en faisant dĂ©filer automatiquement la page des rĂ©sultats de la recherche. Cela envoie des appels rĂ©pĂ©tĂ©s au serveur đ/Twitter, qui finit par ne plus rĂ©gĂ©nĂ©rer la page avec une rĂ©ponse 429 (nombre excessif de requĂȘtes). Lorsque cela se produit (gĂ©nĂ©ralement aprĂšs avoir collectĂ© ~900 tweets), tĂ©lĂ©chargez le fichier, rĂ©initialisez (bouton Reset
), patientez quelques minutes, puis ajustez vos paramĂštres de recherche pour Ă©viter de collecter des doublons et reprenez la collecte.
Refonte de l’interface
â ïž Important! Dans la v0.2, la fenĂȘtre popup de l’extension doit rester ouverte pour que l’extension se comporte correctement. Cliquer en dehors de la fenĂȘtre, passer Ă un autre onglet/fenĂȘtre ou Ă une autre application entraine sa fermeture, empĂȘchant ainsi l’utilisateur d’interagir avec l’extension pendant ou aprĂšs le processus de scraping.
Ce problÚme a été résolu dans la version 0.3 grùce à une interface remaniée: assurez-vous de disposer de la derniÚre version.
CrĂ©er un compte đ/Twitter dĂ©diĂ©
Bien qu’Elon Musk ait exprimĂ© Ă plusieurs reprises son opposition au scraping des donnĂ©es de đ/Twitter, la collecte de donnĂ©es publiques Ă des fins de recherche est lĂ©gale dans la plupart des pays. Toutefois, par prĂ©caution, il est conseillĂ© de crĂ©er un compte ad hoc pour rĂ©cupĂ©rer du contenu.
Leave a Reply