Вопрос по scalability, database-design, web-applications, database – На каких базах данных работают крупнейшие сайты Всемирной паутины? [закрыто]

65

Этот вопрос предназначен для того, чтобы служить списком баз данных и их конфигураций, которые используются основными веб-сайтами, и был бы отличным справочным материалом для всех, кто задумывается о масштабировании своего веб-сайта до размеров Twitter, Facebook или даже Google.

Please keep your answers to a minimum and be sure to cite any sources used.

РЕДАКТИРОВАТЬ:

Также пожалуйстаbold и имя веб-сайта, и база данных для облегчения сканирования.

Я удивлен, что большинство крупных известных сайтов не используют Oracle, за исключением связанных с, как упомянуто ниже. Это из-за стоимости лицензирования или какого-то определенного недостатка? K Singh
@JordanBelf:stackoverflow.com/help/privileges/close-questions zondo
Сообщество должно иметь возможность голосовать, если вопрос правильно закрыт как не по теме или нет. JordanBelf

Ваш Ответ

10   ответов
5

Google использованияBigTable: http://research.google.com/archive/bigtable.html

16

Переполнение стека SQL Server.

Джефф Этвуд написал хороший пост в блоге на эту тему.

https://blog.stackoverflow.com/2008/09/what-was-stack-overflow-built-with/

Вы имеете в виду Microsoft SQL Server? И, пожалуйста, источник.
26

Facebook.com

MySQL with MyRocks. Used to store user info and social activities such as likes, comments, and shares. Hive (Data warehouse for Hadoop, supports tables and a variant of SQL called hiveQL). Used for "simple summarization jobs, business intelligence and machine learning and many other applications" Cassandra (Multi-dimensional, distributed key-value store). Currently used for Facebook's private messaging.

В настоящее время работает 610 (скоро будет 1000) узлов Hadoop в одном кластере с хранилищем данных Hive. И Hive, и Cassandra были открыты из Facebook.

Статистика Facebook:

More than 200 million active users More than 100 million users log on to Facebook at least once each day More than 30 million users update their statuses at least once each day Average user has 120 friends on the site

Источники:

http://www.dbms2.com/2009/05/11/facebook-hadoop-and-hive/ http://www.facebook.com/note.php?note_id=89508453919 http://www.facebook.com/press/info.php?statistics http://hadoop.apache.org/hive/ http://wiki.apache.org/hadoop/Hive/Design http://www.facebook.com/note.php?note_id=24413138919 https://code.facebook.com/posts/190251048047090/myrocks-a-space-and-write-optimized-mysql-database
8

Digg.com

MySQL (Relational Database) for scaling out reads MemcacheDB (Key-Value Store) for scaling out writes

Оба хранилища данных распределены по нескольким серверам.

Статистика Digg:

30M users 26M uniques per month 2 billion requests a month 13,000 requests a second, peak at 27,000 requests a second.

Источники:

http://www.krisjordan.com/2008/09/18/joe-stump-scaling-digg-and-other-web-applications/ http://highscalability.com/scaling-digg-and-other-web-applications
Digg недавно перенес "зеленый значок" Особенность Кассандры:blog.digg.com/?p=966
9

Twitter.com

MySQL (Relational Database). Cassandra (Multi-dimensional, distributed key-value store). Twitter is just "beginning to use Cassandra at Twitter" (see second source).

В мае 2008 года в Twitter был 1 экземпляр MySQL для записи и несколько экземпляров MySQL для чтения.

Статистика Твиттера:

Total Users: 1+ million Total Active Users: 200,000 per week Total Twitter Messages: 3 million/day 5% of Twitter users account for 75% of all activity 72.5% of all users joining during the first five months of 2009

Источники:

http://blog.twitter.com/2008/05/its-not-rocket-science-but-its-our-work.html http://blog.evanweaver.com/articles/2009/07/06/up-and-running-with-cassandra/ http://www.sysomos.com/insidetwitter/ http://www.techcrunch.com/2008/04/29/end-of-speculation-the-real-twitter-usage-numbers/
14

LinkedIn.com

Oracle (Relational Database) MySQL (Relational Database)

Базы данных реплицируются на нескольких серверах для обеспечения высокой доступности. Каждый конкретный Сервис использует свою собственную доменную базу данных.

Статистика LinkedIn:

22 million members 4+ million unique visitors/month 40 million page views/day 2 million searches/day

Источники:

http://hurvitz.org/blog/2008/06/linkedin-architecture/
С тех пор LinkedIn мигрировал в Voldemort (реализация «Динамо» по принципу «ключ / значение»).
12

Microsoft.com

SQL Server (no surprise there)

Статистика Microsoft.com:

250 million unique visits/month. 70 million page views/day. 15,000 connections/second. Maintains an average of 35,000 concurrent connections to a total of 80 Web servers.

Источники:

http://technet.microsoft.com/en-us/mscomops/default.aspx
13

Flickr использованияMySQL.

YouTube использованияMySQL но они переходят на GoogleBigTable.

Myspace использованияSQL Server.

Wikipedia использованияMySQL.

Означает ли это, что у них есть один сервер баз данных, который обрабатывает все до миллиарда штук? Как это не взорвать ??
11

,Yahoo.com

PostgreSQL (modified) - A client can connect to any of the nodes in the cluster (or a policy restricted subset). A query flows from the client to the server it chose to connect with. The SQL compiler on that node compiles and optimizes the query on that single node (no parallelism).

Статистика Yahoo.com:

24 billion events a day 2-petabyte, claims largest database (Mar 2008)

Источник:

http://perspectives.mvdirona.com/2008/05/23/PetascaleSQLDBAtYahoo.aspx http://www.computerworld.com/s/article/9087918/Size_matters_Yahoo_claims_2_petabyte_database_is_world_s_biggest_busiest
Он описан как «структурированные данные, в отличие от неструктурированных данных, таких как электронная почта и другие документы». Хасан, вице-президент Data VP, «рассказывает о том, как люди используют наш веб-сайт, как с точки зрения рекламы, так и с точки зрения потребительского опыта».
2 байта петы чего? :)
3

Похожие вопросы