#OpenKnowledge в России: марта 2015

среда, 11 марта 2015 г.

Международная неделя открытого образования - 2015 (Open Education Week - 2015)

С 9 по 16 марта весь научно-образовательный мир отмечает неделю Открытого образования (Open Education Week - 2015).

К этому событию приурочены различные мероприятия, как образовательного, так и просветительного характера (http://ift.tt/zrEXSV).

Наше российское отделение Open Knowledge тоже не осталось в стороне.

Как и в прошлом году, когда мы с Анной Сакоян написали пост в блог UK Web Focus (http://ift.tt/1EUqo31), мы решили продолжить начинание и опубликовали два поста в блоге Open Knowledge.

Первый пост был посвящен обзору российских открытых образовательных ресурсов (http://ift.tt/1KmgHPY), второй пост освещает наши дата-экспедиции (http://ift.tt/1b1JedJ).

Если у вас есть открытые образовательные проекты, то расскажите о них.

В социальных сетях для этого мероприятия используется хэштэг #openeducationwk.

by via Ирина Радченко

понедельник, 2 марта 2015 г.

Скрейпинг (scraping)

photo912100_355948436

Веб-Скрейпинг - это технология получения данных из веб-страниц.

К сожалению, пока что в русскоязычной Википедии нет страниц, посвященных скрейпингу. А вот в англоязычной Википедии такие статьи уже есть (Web-scraping, Data-scraping).

Краткий обзор инструментария для скрейпинга в блоге, посвященному скрейпингу: http://ift.tt/1AOFWE1

Инструментарий для веб-скрейпинга

ScraperWiki

ScraperWiki: http://ift.tt/nHMmeA

Онлайн-сервис, позволяющий не только писать свой скрейперы при помощи HTML, JavaScript и Python (и не только), но и переводить документы из формата PDF в формат CSV.

logo-openrefine-40

OpenRefine - http://openrefine.org/

Мощный инструмент по работе с "сырыми данными", и в числе прочих функций, позволяет скрейпить данные. Под OpenRefine написано множество программных расширений.

Есть отличная книга по OpenRefine (Ruben Verborgh, Max De Wilde "Using OpenRefine"): http://ift.tt/1AOFV31

import.io

import.io - https://import.io/

Быстро растущий сервис, в котором разработчики постоянно реализовывают новые функции, см. http://ift.tt/1t0Zwv6

Можно визуализировать данные через другой сервис -- plot.ly (http://ift.tt/1FNoRdf)

chrome-extension-256

Kimono http://ift.tt/1pmq70J

Инструкция от Филиппа Каца, Как сделать скрейпер за 15 минут: http://ift.tt/1AOFWE5

OutWit Hub http://ift.tt/VYveEg

Расширение под Firefox, позволяющее вытягивать различные данные из веб-страниц.

Creating a Scraper for Multiple URLs, Simple Method: http://ift.tt/1FNoP58