Проблема медленного получения/обновления/вставки базы данных с более чем 5 миллионами записей в каждой таблице

Question

Как структурировать базу данных, чтобы избежать замедлений?(Двигатель:МойИСАМ)

В настоящее время у меня есть база данных с более чем 5 миллионами записей в одной таблице, что приводит к медленному получению данных.В настоящее время я ищу способы структурировать базу данных, чтобы избежать таких типов баз данных.(Ядро базы данных MyISAM)

Таблицы, вызывающие проблемы, — это сообщения и комментарии, содержащие более 5 миллионов записей в каждой.

У меня возникла идея использовать текстовый файл в качестве хранилища при сохранении записей по дате, чтобы каждый файл содержал достаточно данных, что не замедляло бы процессы получения и сохранения. Но с базами данных я не знаю, что делать :(

Есть ли способ сохранить данные (около 5 миллионов записей в каждой) в базе данных MySQL, чтобы не вызывать медленное извлечение, вставку или обновление данных?

Структура «постов»

    CREATE TABLE IF NOT EXISTS `ibf_posts` (
  `pid` int(10) NOT NULL auto_increment,
  `append_edit` tinyint(1) default '0',
  `edit_time` int(10) default NULL,
  `author_id` mediumint(8) NOT NULL default '0',
  `author_name` varchar(32) default NULL,
  `use_sig` tinyint(1) NOT NULL default '0',
  `use_emo` tinyint(1) NOT NULL default '0',
  `ip_address` varchar(16) default NULL,
  `post_date` int(10) default NULL,
  `icon_id` smallint(3) default NULL,
  `post` text,
  `queued` tinyint(1) NOT NULL default '0',
  `topic_id` int(10) NOT NULL default '0',
  `post_title` varchar(255) default NULL,
  `new_topic` tinyint(1) default '0',
  `edit_name` varchar(255) default NULL,
  `post_key` varchar(32) default NULL,
  `post_parent` int(10) NOT NULL default '0',
  `post_htmlstate` smallint(1) NOT NULL default '0',
  `post_edit_reason` varchar(255) default NULL,
  PRIMARY KEY  (`pid`),
  KEY `topic_id` (`topic_id`,`queued`,`pid`,`post_date`),
  KEY `author_id` (`author_id`,`topic_id`),
  KEY `post_date` (`post_date`),
  KEY `ip_address` (`ip_address`),
  KEY `post_key` (`post_key`),
  FULLTEXT KEY `post` (`post`),
  FULLTEXT KEY `post_2` (`post`)
) ENGINE=MyISAM  DEFAULT CHARSET=utf8;

Запрос:

SELECT p.*, pp.*,.id,m.name,m.mgroup,m.email,m.joined,m.posts, m.last_visit, m.last_activity,m.login_anonymous,m.title,m.hide_email, m.warn_level, m.warn_lastwarn, m.points, m.topics_started, m.skin,
                    me.msnname,me.aim_name,me.icq_number,me.signature, me.website,me.yahoo,me.location, me.avatar_location, me.avatar_type, me.avatar_size, m.members_display_name, m.custom_post_css, m.custom_right_img
                    m.custom_post_color
                        FROM posts p
                            LEFT JOIN members m ON (m.id=p.author_id)
                            LEFT JOIN profile_portal pp ON (m.id=pp.pp_member_id)
                            LEFT JOIN member_extra me ON (me.id=m.id)
                        WHERE p.pid IN(--post ids here) 
                        ORDER BY --ordering here

Answer 1

5M это не так уж и много.

Вероятно, вы неправильно проиндексировали таблицу.

Пожалуйста, оставьте свой запрос, и мы, вероятно, расскажем вам, как его улучшить.

Обновлять:

SELECT  p.*, pp.*,.id,m.name,m.mgroup,m.email,m.joined,m.posts, m.last_visit, m.last_activity,m.login_anonymous,m.title,m.hide_email, m.warn_level, m.warn_lastwarn, m.points, m.topics_started, m.skin,
        me.msnname,me.aim_name,me.icq_number,me.signature, me.website,me.yahoo,me.location, me.avatar_location, me.avatar_type, me.avatar_size, m.members_display_name, m.custom_post_css, m.custom_right_img
        m.custom_post_color
FROM    posts p
LEFT JOIN
        members m
ON      m.id = p.author_id 
LEFT JOIN
        profile_portal pp
ON      pp.pp_member_id = m.id
LEFT JOIN
        member_extra me
ON      me.id = m.id
WHERE   p.pid IN (--post ids here) 
ORDER BY
        --ordering here

Убедись в том, что:

• members.id это PRIMARY KEY
• member_extra.id это PRIMARY KEY
• У вас есть индекс на profile_portal.pp_member_id

Также вы опустили ORDER BY пункт, но этот пункт тоже важен: использование индексов также может его улучшить.

Answer 2

EXPLAIN PLAN расскажет вам, как это делает механизм запросов.Если вы видите «сканирование таблицы», значит, вам нужны индексы.

Answer 3

5 миллионов строк в одной таблице — это не так уж много, сколько времени занимают ваши запросы?Я подозреваю, что у вас могут быть проблемы с индексацией. ОБЪЯСНЯТЬ Оператор может помочь узнать, что на самом деле делают ваши запросы.

Если у вас есть правильно проиндексированные таблицы и разумные запросы, вы можете изучить разделение..

Редактировать:

Вы можете попробовать, если поможет добавление INDEX(pid,author_id) или INDEX(author_id, pid) в таблицу ibf_posts.