Экспресс анализ гуглоданных

Меня завораживает универсальность питона. И хотя в последнее время его популярность росла в основном благодаря вебу, другие аспекты языка также развивались. Изначально я заинтересовался питоном в его научно-техническом аспекте. В своей работе я использую его в качестве аналога MATLAB, для аналитического анализа данных, создания моделей, оформления графиков.
Примеру реализации подобного анализа повещена данная статья. Изначально я не планировал оформлять публикацию, а лишь удовлетворял собственное любопытство, но потом решил посильно поддержать молодой ресурс:) В первую очередь статья будет полезна начинающим пользователям еще выбирающих подходящий инструмент. Для экспериментов рекомендую попробовать сборку python(x,y) включающую множество модулей научно-технического характера и Spyder как IDE (также входит в состав python(x,y)).

В качестве источника данных воспользуемся недавно опубликованным рейтингом 1000 популярных сайтов от google (http://www.google.com/adplanner/static/top1000/).
Получение данных
Рейтинг представляет из себя типичную html страницу. Несмотря на то что эта страница разбита на 10 частей, анализ ее исходного кода показал, что переключение между разделами выполнен на клиентом уровне (js).
Для получения данных, используем модуль urllib:


Парсинг
Следующий код представляет собой парсинг полученного контента, для вычленения данных из текста страницы. Реализовать это можно десятками разных способов, каждый со своими плюсами и минусами. Реализованный способ представляется наиболее простым, но сильно зависимым от содержания страницы. Пример html кода станицы:



Первые 81 строчки содержат информации о html странице, и не содержат данных. Начиная с 82 строчки, циклически с периодом 13 строк выводится ячейки данных. Этого достаточно для реализации следующего алгоритма:




Недостатком метода можно считать излишнюю зависимость от формата источника, если к моменту публикации гугл изменит текст страницы (к примеру добавит в начало страницы пустую строку) то алгоритм работать не будет.
Выгрузка данных в БД
Теперь все данные находятся в переменной 'data'. По идее уже сейчас можно приступить к анализу информации, однако я предпочел предварительно сохранить данные в базу данных. Это обладает рядом преимуществ:
С БД можно работать из разных приложений;
Для анализа данных удобно использовать встроенный язык SQL;
БД позволяют работать с большими объемами данных(что к данному примеру не относится).

В качестве СУБД выбрана sqlite присутствующая в питоне по умолчанию в виде модуля sqlite3:



Дополнительные данные
Теперь все данные находятся в файле с названием 'googlestat.db'. Но анализируемый рейтинг имеет большой недостаток, в нем отсутствуют данные о самом гугле. Для повышения качества выборки добавим в БД данные о google и youtube с http://alexa.com.



Графики
Теперь можем приступить к анализу. Для этого потребуется библиотека matplotlib со всеми зависимостями.
Разобьем интернет по категориям:



Вот результат:


Другие диаграммы (код доступен в прилагаемых файлах):






Выводы
Ну а какая аналитика без выводов)) Но в данном случае выводы не будут касаться полученных графиков, интерпретацию графиков оставлю читателям(намекну лишь что означать они могут совсем не то, что кажется, а для рунета выборка слишком мала). Вывод: питон хороший инструмент для решения широкого круга задач.

Файлы:load.py http://dl.dropbox.com/u/3635811/googlestat/load.py
plot.py http://dl.dropbox.com/u/3635811/googlestat/plot.py
googlestat.db http://dl.dropbox.com/u/3635811/googlestat/googlestat.db