Скрейпинг (scraping)

Веб-Скрейпинг - это технология получения данных из веб-страниц.

К сожалению, пока что в русскоязычной Википедии нет страниц, посвященных скрейпингу. А вот в англоязычной Википедии такие статьи уже есть (Web-scraping, Data-scraping).

Краткий обзор инструментария для скрейпинга в блоге, посвященному скрейпингу: http://ift.tt/1AOFWE1



Инструментарий для веб-скрейпинга

• 
  


• ScraperWiki: http://ift.tt/nHMmeA


• 
  

Онлайн-сервис, позволяющий не только писать свой скрейперы при помощи HTML, JavaScript и Python (и не только), но и переводить документы из формата PDF в формат CSV.

• 
  


• OpenRefine - http://openrefine.org/


• 
  

Мощный инструмент по работе с "сырыми данными", и в числе прочих функций, позволяет скрейпить данные. Под OpenRefine написано множество программных расширений.

Есть отличная книга по OpenRefine (Ruben Verborgh, Max De Wilde "Using OpenRefine"): http://ift.tt/1AOFV31

• 
  


• import.io - https://import.io/


• 
  

Быстро растущий сервис, в котором разработчики постоянно реализовывают новые функции, см. http://ift.tt/1t0Zwv6



Можно визуализировать данные через другой сервис -- plot.ly (http://ift.tt/1FNoRdf)

• 
  


• Kimono http://ift.tt/1pmq70J


• 
  

Инструкция от Филиппа Каца, Как сделать скрейпер за 15 минут: http://ift.tt/1AOFWE5

• 
  


• OutWit Hub http://ift.tt/VYveEg


• 
  

Расширение под Firefox, позволяющее вытягивать различные данные из веб-страниц.

Creating a Scraper for Multiple URLs, Simple Method: http://ift.tt/1FNoP58

• 
  


• Google Web Scraper http://ift.tt/UrLiRq


• 
  

Расширение под Google Chrome.

• 
  


• Scrapy http://scrapy.org/


• 
  

Фреймворк для написания краулеров. Поддерживает написание программного кода на языке Python 2.7.



Список информационных источников

• 
  


• Paul Bradshaw. Scraping for journalists. http://ift.tt/TN8Uyv


• 
  


• A Guide to Web Scraping Tools. http://ift.tt/1BFy0DO


• 
  


• Scraping Web sites using Scraper extension for Chrome: http://ift.tt/1rKRCCi


• 
  


• Data Minig with Google Refine: http://ift.tt/1FNoRdn


• 
  


• Scraping Using OpenRefine: http://ift.tt/1AOFXYG


• 
  


• Scraping multiple Pages using the Scraper Extension and Refine: http://ift.tt/1AOFXYK


• 
  

by via Ирина Радченко

Расследовательская журналистика

Любопытная статья по расследовательской журналистике и тому, как использовать "цифровой инструментарий": http://ift.tt/1BAin4g

Ссылка на учебник по верификации:http://ift.tt/1b7fLIV

И ссылка на сервис по верификации происшествий: https://veri.ly/

Пока что, к сожалению, все на английском языке.

Излишне говорить о том, что было бы здорово, если бы кто-нибудь перевел это на русский язык.

by via Ирина Радченко

Международный день Открытых данных в Москве (Moscow Open Data Day 2015)

21 февраля, в субботу, по всему миру было отпраздновано событие -- международный день Открытых данных.

Всего в мероприятии приняло участие 248 команд из 61 страны со всего мира.

Статистику участников можно посмотреть здесь: http://ift.tt/1zcfGhI



В Москве международный день Открытых данных прошел при поддержке НП "Информационная культура" (http://infoculture.ru/) и Российского отделения фонда Открытых знаний (OKFN-RU: http://ru.okfn.org/).

Мероприятие посетило свыше 40 человек, обладающих самыми различными навыками. Среди участников были замечены как представители гуманитарных направлений (пиар, реклама, журналистика и тп), так и разработчики, программисты и дата-аналитики.

Были представлены не только доклады с презентациями, но и рассказы, анонсы мероприятий в свободной форме.

Мою презентацию, посвященную Открытой науке, можно посмотреть здесь: http://ift.tt/1B7YIH6, сопутствующие материалы здесь: http://ift.tt/1zcfGhK

Были также представлены презентации о визуализациях (презентация Ивана Бегтина: http://ift.tt/1B7YGii), понятном языке (презентация Ростислава Яворского: http://ift.tt/1zcfFdQ) и использовании Leaflet.js (презентация Ивана Игнатьева: http://ift.tt/1B7YIXm, материалы: http://ift.tt/1zcfGhR, http://ift.tt/1B7YGio.

В результате хакатона было сделано около 4 прототипов приложений.

Некоторые участники показали желание участвовать в проекте Open Science Labs (проект об Открытой науке, призванный популяризировать и продвигать концепт Открытой науки в России).

Заявку на участие в проекте Open Science Labs можно заполнить здесь: http://ift.tt/1B7YIXo

by via Ирина Радченко

Семинары по дата-журналистике в Перми и Новосибирске

С 21 по 23 января 2015 г. в Перми и с 26 по 28 января 2015 г. в Новосибирске вместе с Оксаной Силантьевой (Силамедиа) я проводила мастер-классы и семинары по дата-журналистике, в ходе которых я написала несколько довольно несложных инструкций для журналистов по работе с онлайн-сервисами Google.

Итак, ссылка на инструкцию по тому, как завести себе почтовый ящик в Гугл.

И ссылка на инструкцию о том, как создать и работать с гуглотаблицей.

Некоторые журналисты интересовались нормативно-правовой базой открытых данных. Именно для них я написала отдельный пост в своем блоге: http://ift.tt/1zSLkqv

Многие журналисты занимаются довольно интересными расследованиями, результаты которых они вскоре планируют опубликовать.

Очень надеюсь, что наши семинары помогли им в освоении нового инструментария по работе с открытыми данными!

by via Ирина Радченко

Российская нормативно-правовая база для открытых данных

Список российских нормативно-правовых актов в области открытых данных



Федеральный закон от 27.07.2006 № 149-ФЗ «Об информации, информационных технологиях и о защите информации»

Ссылка: http://ift.tt/1sBwVsp



Федеральный закон от 09.02.2009 № 8-ФЗ «Об обеспечении доступа к информации о деятельности государственных органов и органов местного самоуправления»

Ссылка: http://ift.tt/1JUVeYO



Постановление Правительства РФ от 24 ноября 2009 года № 953 «Об обеспечении доступа к информации о деятельности Правительства РФ и федеральных органов исполнительной власти»

Ссылка: http://ift.tt/1jAYmwx



Федеральный закон № 112-ФЗ «О внесении изменений в Федеральный закон "Об информации, информационных технологиях и о защите информации"» и Федеральный закон «Об обеспечении доступа к информации о деятельности государственных органов и органов местного самоуправления»

Ссылка: http://ift.tt/18nTb3R



Указ Президента Российской Федерации 7 мая 2012 года N 601

Ссылка: http://ift.tt/18nTb3T



Приказ Министерства связи и массовых коммуникаций Российской Федерации (Минкомсвязь России) от 27 июня 2013 г. № 149

Ссылка: http://ift.tt/1jAYkow



Постановление Правительства Российской Федерации от 10 июля 2013 г. N 583 г. Москва «Об обеспечении доступа к общедоступной информации о деятельности государственных органов и органов местного самоуправления в информационно-телекоммуникационной сети "Интернет" в форме открытых данных»

Ссылка: http://ift.tt/1hasGQl



Распоряжение Правительства РФ от 10 июля 2013 года № 1187-р

Ссылка: http://ift.tt/1hasIYt



Федеральный закон Российской Федерации от 12 марта 2014 г. N 35-ФЗ

Ссылка: http://ift.tt/18nT9Ji



Методические рекомендации по публикации открытых данных государственными органами и органами местного самоуправления и технические требования к публикации открытых данных (версия 3.0)»

Ссылка: http://ift.tt/1JUVdnz

by via Ирина Радченко

Семинары по журналистике данных в Перми

По следам ODI Summit - 2014

4 ноября в Лондоне в течение всего дня проходил ODI Саммит, организованный Институтом открытых данных. Россию представляла наша делегация от университета ИТМО, заинтересованная в совместных академических проектах в области открытых данных.

На Саммите выступило много спикеров с отчетами о проделанной работе, с рассказами о своих проектах, особенностях их реализации и обсуждением перспектив дальнейшей деятельности.

На Саммите присутствовал сэр Тим Бернерс-Ли, который говорил о полученном финансировании Институтом открытых данных (ODI получил 14.4 млн. евро: http://ift.tt/1yV6Pmy).

Эти деньги будут потрачены на катализацию движения открытых данных в Европе: образовательную деятельность, проекты в рамках программы Horizon 2020 и поддержание стартапов на открытых данных.

by via Ирина Радченко