С нами с 24.03.03
Сообщения: 569
Рейтинг: 278
|
Добавлено: 19/11/14 в 09:45 |
Дартаньян писал: | RA Optimus: еслибы было всеравно и ты был уверен в том что ты говоришь то тыбы не писаль столько в этом топике а просто выложил пример до и после. |
http://prntscr.com/57vgj7
так пойдет?
|
|
|
|
С нами с 22.05.04
Сообщения: 268
Рейтинг: 251
|
Добавлено: 19/11/14 в 15:28 |
RA Optimus писал: | такой смешной. залез в чужой топик и всем указал чтобы дальше не читали ) ну молодец
ты то доказательства своих 0.003с предоставишь?
я просто это привел как пример того что достаточно быстро для поверхностной оценки
>расчетная цифра резко ползет вверх
ну уж не резко, но да ползет
ты что думаешь я тут пишу и у меня один сайтик на 3к? а цифры выдумал?
ну раз уж залез показывай свое имущество.
я вот не могу, карма не позволяет |
у меня просто есть привычка экономить чужое время, обычно люди ценят.
если мне к примеру kit в личку стукнется, он не только примеры получит но и сайт простой для начала с C# бесплатно на PHP перепишу чтобы бенчмарки вставить можно было и показать что ты - флудер шарлатан и тролль, и не более того
|
|
Нестандартные задачи. Кастом программинг на ПХП. Оптимизация стороннего кода. Недорого, недешево.
|
0
|
|
|
💀💀💀
С нами с 31.05.10
Сообщения: 4689
Рейтинг: 728
|
Добавлено: 19/11/14 в 16:04 |
и как сопровождать такие сайты? Ладно если ты 1 для себя делаешь, а когда команда работает? А если кто-нибудь уволится, сколько времени нового работника обучать и сколько времени он будет въезжать в ваши разработки?
По мойму бред.
К тому же львиную долю времени съедает передача контента сайта клиенту, а не генерация страниц. Тем более если реализовано грамотное кеширование.
|
|
|
|
+ +
WP-Master
С нами с 17.01.13
Сообщения: 1922
Рейтинг: 1123
|
Добавлено: 19/11/14 в 16:29 |
Ailk: что объяснять в php что в c# надо будет свои тонкости и т.д.
|
|
|
|
💀💀💀
С нами с 31.05.10
Сообщения: 4689
Рейтинг: 728
|
Добавлено: 19/11/14 в 16:56 |
ну я не работал на хайлоад проектах, хуле тут кривить душой. Тонкостей не знаю. Но писать серверную часть на сях, это наверное тока пьяному в голову.
посмотрите архитектуру серверов юпорна. уж там точно не долбоебы сидят.
|
|
|
|
Web Developer С++
С нами с 25.11.01
Сообщения: 859
Рейтинг: 759
|
Добавлено: 19/11/14 в 18:13 |
Ailk, не путай Си (С++) и C# - это разные языки!
Я 15 лет пишу серверную часть на С++ - для хайлоад отлично подходит! Никаких ограничений - битовые структуры, бинарные файлы, настоящая многопоточность, разделяемая память, любые библиотеки (БД/сurl/json) и всё что позволяет ОС + скорость и закрытий код.
Писать и отлаживать бывает долго, не спорю, но в узких местах это оправданно. Да и писать интерфейсы тоже обычно проблем нет: считал с БД, сделал JSON, вывел JSON и html-страницу с диска - дальше браузер на JS рисует таблицы, графики и проч.
Насчет всего вышеперечисленного я уже высказывался ранее. Добавлю, что это бессмысленный холивар - не заявлено проблемы, которую надо решать переходом на C# и с которой бы не справился PHP. Если что-то уже работает, нафига что-то менять и создавать себе проблемы на пустом месте: новый язык - это заново баги, отладка, время, деньги, а ради чего не понятно.
Даже если есть какие-нибудь проблемы, то они как правило решаются не сменой языка, а грамотной реализацией идей!
|
|
|
|
С нами с 24.03.03
Сообщения: 569
Рейтинг: 278
|
Добавлено: 19/11/14 в 18:26 |
rx писал: | у меня просто есть привычка экономить чужое время, обычно люди ценят.
если мне к примеру kit в личку стукнется, он не только примеры получит но и сайт простой для начала с C# бесплатно на PHP перепишу чтобы бенчмарки вставить можно было и показать что ты - флудер шарлатан и тролль, и не более того |
что, если обосрешься? собрался то, что написано за продолжительное время написать за пару минут и показать киту свой нерабочий чудо код? как ты его тестировать интересно будешь?
|
|
|
|
С нами с 24.03.03
Сообщения: 569
Рейтинг: 278
|
Добавлено: 19/11/14 в 18:29 |
DF™ писал: | Ailk, не путай Си (С++) и C# - это разные языки!
Я 15 лет пишу серверную часть на С++ - для хайлоад отлично подходит! Никаких ограничений - битовые структуры, бинарные файлы, настоящая многопоточность, разделяемая память, любые библиотеки (БД/сurl/json) и всё что позволяет ОС + скорость и закрытий код.
Писать и отлаживать бывает долго, не спорю, но в узких местах это оправданно. Да и писать интерфейсы тоже обычно проблем нет: считал с БД, сделал JSON, вывел JSON и html-страницу с диска - дальше браузер на JS рисует таблицы, графики и проч.
Насчет всего вышеперечисленного я уже высказывался ранее. Добавлю, что это бессмысленный холивар - не заявлено проблемы, которую надо решать переходом на C# и с которой бы не справился PHP. Если что-то уже работает, нафига что-то менять и создавать себе проблемы на пустом месте: новый язык - это заново баги, отладка, время, деньги, а ради чего не понятно.
Даже если есть какие-нибудь проблемы, то они как правило решаются не сменой языка, а грамотной реализацией идей! |
молодцом! все правильно сделал. почему не выбрал php для серверной части поясни аудитории
посмотри go возможно понравится
|
|
|
|
www.phpdevs.com
С нами с 24.10.02
Сообщения: 16633
Рейтинг: 16105
|
Добавлено: 19/11/14 в 18:50 |
RA Optimus писал: | почему не выбрал php для серверной части поясни аудитории |
Наверное потому, что назначение пхп несколько иное. Но тебе ведь надо непременно обосрать пхп
|
|
Пишу на php/mysql/django за вменяемые деньги.
Обращаться в личку.
|
0
|
|
|
С нами с 22.05.04
Сообщения: 268
Рейтинг: 251
|
Добавлено: 19/11/14 в 19:01 |
RA Optimus писал: | что, если обосрешься? собрался то, что написано за продолжительное время написать за пару минут и показать киту свой нерабочий чудо код? как ты его тестировать интересно будешь? |
фантазии про скат оставь себе на ночь
я очень долгое время зарабатываю тем что переписываю код таких личностей с понтами за километр. с оплатой по факту
|
|
Нестандартные задачи. Кастом программинг на ПХП. Оптимизация стороннего кода. Недорого, недешево.
|
0
|
|
|
С нами с 24.03.03
Сообщения: 569
Рейтинг: 278
|
Добавлено: 19/11/14 в 19:10 |
rx писал: | фантазии про скат оставь себе на ночь
я очень долгое время зарабатываю тем что переписываю код таких личностей с понтами за километр. с оплатой по факту |
в чем понты?
понты сейчас у тебя
ты даже ведь не знаешь за что берешься. ты так же за работу берешься не глядя? и сроки тоже наугад заказчику сочиняешь.
не знаешь меня и не знаешь, чем я занимаюсь, но при этом возомнил себя богом кодинга.
смотришь почему-то на меня с высока.
у кита одни шарлотаны работают. не знал?
ты что и кому пытаешься доказать? считаешь, что я дебил, а ты очень умный?
я уже решил все поставленные задачи давным давно
да, и вопрос был не в том, чтобы мне нужна была чья-то помощь.
Последний раз редактировалось: RA Optimus (19/11/14 в 19:17), всего редактировалось 2 раз(а)
|
|
|
|
С нами с 24.03.03
Сообщения: 569
Рейтинг: 278
|
Добавлено: 19/11/14 в 19:12 |
Stek писал: | Наверное потому, что назначение пхп несколько иное. Но тебе ведь надо непременно обосрать пхп |
в том-то и дело задача не странички рисовать была.
а обосрать php это святое
|
|
|
|
С нами с 17.03.12
Сообщения: 335
Рейтинг: 790
|
Добавлено: 19/11/14 в 19:18 |
Ailk писал: | ну я не работал на хайлоад проектах, хуле тут кривить душой. Тонкостей не знаю. Но писать серверную часть на сях, это наверное тока пьяному в голову.
посмотрите архитектуру серверов юпорна. уж там точно не долбоебы сидят. |
Это не архитектура, а больше похоже на список технологий, которые они используют. Слишком мало технических деталей и не описаны никакие интересные технические решения.
Предположим что у них несколько серверов с редисом, ну скажем кеша на 200 гб.
Например, что произойдет, если один из серверов редиса бутнеться или нужно будет добавить новый сервер в кластер? Будет полное перераспределение ключей по всем редис серверам (и полная жопа всем mysql слейвам) или они юзают какой-то из алгоритмов для persistent hash? Интересно как решают подобную проблему.
Как реализован поиск? Судя по картинкам, то просто в mysql ищут.
Увы, но на в pdf'ке нет ничего интересного
Последний раз редактировалось: Evial (19/11/14 в 19:20), всего редактировалось 1 раз
|
|
|
|
С нами с 24.03.03
Сообщения: 569
Рейтинг: 278
|
Добавлено: 19/11/14 в 19:20 |
Sargas писал: | Это не архитектура, а больше похоже на список технологий, которые они используют. Слишком мало технических деталей и не описаны никакие интересные технические решения.
Предположим что у них несколько серверов с редисом, ну скажем кеша на 200 гб.
Например, что произойдет, если один из серверов редиса бутнеться или нужно будет добавить новый сервер в кластер? Будет полное перераспределение ключей по всем редис серверам (и полная жопа всем mysql слейвам) или они юзают какой-то из алгоритмов для persistent hash? Интересно как решают подобную проблему.
Как реализован поиск? Судя по картинкам, то просто в mysql ищут.
Увы, но на в pdf'ке нет ничего интересного
|
редис может на диск сохранять данные ведь, можно копии держать. интересно, но с нами вряд ли кто поделится
|
|
|
|
Web Developer С++
С нами с 25.11.01
Сообщения: 859
Рейтинг: 759
|
Добавлено: 19/11/14 в 19:21 |
RA Optimus писал: | молодцом! все правильно сделал. почему не выбрал php для серверной части поясни аудитории
посмотри go возможно понравится |
У меня свой фреймворк уже на С++ с поддержкой многоязыковых интерфейсов, средств отладки и проч., кроме того я часто использую бинарные файлы, также надежней когда на одной технологии всё написано и закрытый код опять же.
|
|
|
|
С нами с 24.03.03
Сообщения: 569
Рейтинг: 278
|
Добавлено: 19/11/14 в 19:23 |
DF™ писал: | У меня свой фреймворк уже на С++ с поддержкой многоязыковых интерфейсов, средств отладки и проч., кроме того я часто использую бинарные файлы, также надежней когда на одной технологии всё написано и закрытый код опять же. |
вот видишь у всех свои аргументы для решения своих задач
нет белого и черного.
|
|
|
|
С нами с 17.08.11
Сообщения: 61
Рейтинг: 62
|
Добавлено: 19/11/14 в 19:45 |
Ailk писал: | ну я не работал на хайлоад проектах, хуле тут кривить душой. Тонкостей не знаю. Но писать серверную часть на сях, это наверное тока пьяному в голову.
посмотрите архитектуру серверов юпорна. уж там точно не долбоебы сидят. |
Зачем лезешь тогда, если не работал. Хайлоад делают даже не на С++, а на чистом Си. MySQL, Redis, memcache, PHP, весь unix, linux — C без плюсов, без ООП, из объектов — только структуры. Экономия на всём. А Yourporn — это просто Application, не важно на чём писать, хоть на Visual Basic, там почти вся работа ложится на БД, я уже писал об этом.
Писать на C++ — реально круто, но далеко не каждому дано.
|
|
|
|
С нами с 17.08.11
Сообщения: 61
Рейтинг: 62
|
Добавлено: 19/11/14 в 19:57 |
Sargas писал: | Это не архитектура, а больше похоже на список технологий, которые они используют. Слишком мало технических деталей и не описаны никакие интересные технические решения.
Предположим что у них несколько серверов с редисом, ну скажем кеша на 200 гб.
Например, что произойдет, если один из серверов редиса бутнеться или нужно будет добавить новый сервер в кластер? Будет полное перераспределение ключей по всем редис серверам (и полная жопа всем mysql слейвам) или они юзают какой-то из алгоритмов для persistent hash? Интересно как решают подобную проблему. |
Рискну предположить, что шардинг у них сделан не по хеш-функции id-шников, а как нужно, через virtual buckets. То есть когда есть слой в виде мэппера ключей и шардов. Если что-то упадёт или добавится, то решардинг можно сделать автоматически очень быстро. По крайней мере именно так делается шардирование в memcached (там, кстати, vbuckets встроены, в отличии от Redis)
Sargas писал: | Как реализован поиск? Судя по картинкам, то просто в mysql ищут.
Увы, но на в pdf'ке нет ничего интересного |
Наверно через MySQL LIKE %% ищут Я думаю, что у них стоит Sphinx или Elasticsearch. Так как у них, я смотрю, и стемминг поддерживается, и ошибочные слова. Плюс несколько сортировок. Нет аггрегаций, нет фильтров. В общем, ничего военного. Свой индексатор они вряд ли писали.
Fulltext MySQL будет работать в десятки раз медленнее. Хотя может в последних мускулях что-то и поменялось, не знаю.
ЗЫ: По шардингу. Если у Youporn основной контент — это видео, то можно примерно посчитать. Если это последняя страница: http://www.youporn.com/most_viewed/?page=8160 , то у них 8160*30 = 250к видео. Вся БД у них будет занимать в памяти метров 200. Ещё добавим разных каунтеров. Шардинг в таком случае не нужен, достаточно обеспечить фейловер через несколько реплик и балансировку между ними через HAProxy. Но это лишь мои мысли. Как у них там сделано на самом деле — без понятия.
|
|
|
|
💀💀💀
С нами с 31.05.10
Сообщения: 4689
Рейтинг: 728
|
Добавлено: 19/11/14 в 21:14 |
просто оставлю это здесь.
|
|
|
|
С нами с 22.05.04
Сообщения: 268
Рейтинг: 251
|
Добавлено: 19/11/14 в 22:48 |
RA Optimus писал: | в чем понты?
понты сейчас у тебя
ты даже ведь не знаешь за что берешься. ты так же за работу берешься не глядя? и сроки тоже наугад заказчику сочиняешь.
не знаешь меня и не знаешь, чем я занимаюсь, но при этом возомнил себя богом кодинга.
смотришь почему-то на меня с высока.
у кита одни шарлотаны работают. не знал?
ты что и кому пытаешься доказать? считаешь, что я дебил, а ты очень умный?
я уже решил все поставленные задачи давным давно
да, и вопрос был не в том, чтобы мне нужна была чья-то помощь. |
заметь, это ты сам сказал/придумал, в моих постах этого нет. лично мне кажется ты не умеешь читать и невнимателен, что ставит под сомнение твои способности анализировать информацию в целом, в частности для принятия решений. ибо я четко указал что бесплатно, "простой сайт" и не указал сроков. если устроит переделка простого - вот тогда можно будет обсудить сложное. опять же, по факту.
мне не важно какие задачи ты решаешь или думаешь что решаешь. косвенной информации ты предоставил предостаточно. было дело приходилось за месяц переделывать то что контора с 10ком таких же мегапрогеров в штате писала два года, ибо так уж получилось что максимальный IQ по айзеку в 16 лет, более десятка лет практики на различных позициях плюс опыт работы с суровой нагрузкой + собственный кастомизирующийся фреймворк и куча набитых шишек и ошибок на пути позволяют решать практически любые задачи в вебе
но как любой хороший профессионал, я всегда допускаю возможность собственной ошибки и ограниченности знаний. если ты озвучишь задачу и я найду ее архисложной, я признаю это. удиви меня.
|
|
Нестандартные задачи. Кастом программинг на ПХП. Оптимизация стороннего кода. Недорого, недешево.
|
0
|
|
|
С нами с 17.03.12
Сообщения: 335
Рейтинг: 790
|
Добавлено: 20/11/14 в 05:18 |
ravlio писал: | Рискну предположить, что шардинг у них сделан не по хеш-функции id-шников, а как нужно, через virtual buckets. То есть когда есть слой в виде мэппера ключей и шардов. Если что-то упадёт или добавится, то решардинг можно сделать автоматически очень быстро. По крайней мере именно так делается шардирование в memcached (там, кстати, vbuckets встроены, в отличии от Redis)
|
У badoo.com так сделано, а у youporn думаю что нет.
Есть еще тулзовина которая реализует keepalive и pipelining между серверами с приложением и мемкешом/редисом https://github.com/twitter/twemproxy . Единственный минус - память не освобождает и приходится раз в сутки рестартить.
Цитата: |
Наверно через MySQL LIKE %% ищут Я думаю, что у них стоит Sphinx или Elasticsearch. Так как у них, я смотрю, и стемминг поддерживается, и ошибочные слова. Плюс несколько сортировок. Нет аггрегаций, нет фильтров. В общем, ничего военного. Свой индексатор они вряд ли писали.
Fulltext MySQL будет работать в десятки раз медленнее. Хотя может в последних мускулях что-то и поменялось, не знаю.
|
Ну pdf'ка 2008 года, скорее всего тогда они таки mysql like юзали
Elasticsearch - переиндексация очень долго идет. Сфинкс по-моему вне конкуренции.
|
|
|
|
💀💀💀
С нами с 31.05.10
Сообщения: 4689
Рейтинг: 728
|
Добавлено: 20/11/14 в 10:32 |
у юпорна Solr вроде как. Но это не суть. Не обязательно дрочиться на сях, тем более уже давно научились кешировать объекты в тотже мемкеш или редис. И также считаю, что выбор языка приложения не должен особо учитывать особенности архитектуры серверов. Это скорее работа для сисадминов. Речь то идет о пхп vs с# именно для приложения. И в этом контексте выбор c# кажется слегка неуместным в виду усложненного дальнейшего сопровождения этого приложения.
|
|
|
|
С нами с 12.06.13
Сообщения: 2
|
Добавлено: 20/11/14 в 10:44 |
Изначально вопрос был сформулирован неверно )))) зато столько холивара )
Речь шла не о том, чтобы html-странички выплевывать...
Нужно было серверное приложение, которое умело бы работать он-лайн одновременно с локальными и сторонними источниками данных + обрабатывать большие массивы внутренних данных + хай лоэд.
Имхо, скриптовый язык без возможности параллельных процессов просто ну никак в эту задачу не вписывается.
На момент постановки вопроса уже была написана на ПХП работающая версия бизнес-логики, которая не справлялась с нагрузкой и не могла функционировать стабильно.
Естественно, если бы была сразу же сформулирована задача, то подобных комментариев: "на десктопе или на сервере будете фреймворк ставить?", просто бы не было.
Имхо на счет "ПХП- и C#- программистов": нет программистов какого-то одного языка, есть люди с опытом программирования в какой-то среде. Если они из этой среды не могут вылезти... жалко их, кардинальные изменения в новой версии их языка и жесткие тренды на новые технологии могут лишить их хлеба.
|
|
|
|
www.phpdevs.com
С нами с 24.10.02
Сообщения: 16633
Рейтинг: 16105
|
Добавлено: 20/11/14 в 11:01 |
Жалко, что так и не услышали начальника транспортного отдела
|
|
Пишу на php/mysql/django за вменяемые деньги.
Обращаться в личку.
|
0
|
|
|
С нами с 12.06.13
Сообщения: 2
|
Добавлено: 20/11/14 в 11:13 |
|
|
|
|