Linux Forum Казахстан

[size="3"]Microsoft поддержала разработку открытого веб-сервера Apache[/size]

Корпорация Microsoft сделала еще один шаг навстречу сообществу open source, поддержав организацию Apache Software Foundation, занимающуюся разработкой популярного веб-сервера Apache.

Как сообщает NetworkWorld, софтверный гигант выделил на нужды Apache сто тысяч долларов, став при этом платиновым спонсором проекта. На текущий момент, статус платиновых спонсоров организации Apache Software Foundation имеют только две компании - Google и Yahoo, основные конкуренты Microsoft в сфере интернет-поиска.

Помимо финансовой поддержки, корпорация Microsoft передала разработчикам Apache свой программный код, позволяющий расширить возможности ADOdb - библиотеки абстрактных классов, написанной на PHP и Python. Данная библиотека позволяет создавать приложения максимально правильно с точки зрения концептуального подхода к работе с базами данных.

Кроме того, Microsoft перевела порядка ста своих протоколов в категорию Open Specification Promise. Это означает, что сторонние разработчики могут использовать данные протоколы, не опасаясь судебных исков с обвинениями в нарушении патентов Microsoft.

Согласно статистике Netcaft за июнь текущего года, Apache является наиболее распространенным серверным программным обеспечением в Сети. В прошлом месяце на долю этого веб-сервера приходились около 49% соответствующего сегмента рынка (почти 85 миллионов сайтов). Второе место по популярности занимают программные платформы Microsoft - 35,4% (61 миллион сайтов).

источник (http://business.compulenta.ru/364633/)

[size="3"]Представлен релиз HTTP-сервера Apache 2.2.10[/size]

Анонсирован выход релиза Apache 2.2.10. В новой версии устранена неопасная XSS (межсайтовый скриптинг) уязвимость в модуле mod_proxy_ftp, внесено 18 изменений, затрагивающих такие модули как mod_proxy_http, mod_ssl, mod_authn_alias, mod_charset_lite, mod_dav_fs, mod_cgid, mod_headers, mod_rewrite.

Отдельно стоит отметить, появление поддержки chroot для Unix-совместимых ОС, при старте apache будет выполнен переход в изолированное окружение, корневая директория которого задана через директиву ChrootDir. Новшество совместимо с MPM модулями prefork и worker.

В mod_proxy_balancer добавлен метод балансировки 'bybusyness', учитывающий загруженность бэкенда. В mod_rewrite появились 2 новые опции, управляющие отправкой Cookie: secure (cookie отправляется только по https) и HttpOnly (для активации возможности некоторых браузеров по блокированию передачи cookie в Javascript код).
http://www.apache.or...ncement2.2.html (http://www.apache.org/dist/httpd/Announcement2.2.html)
http://www.opennet.r...shtml?num=18426 (http://www.opennet.ru/opennews/art.shtml?num=18426)

[size="3"]Вышел релиз Apache 2.2.11[/size]

Вышел релиз Apache 2.2.11 в котором представлено 18 изменений. Исправлены ошибки в модулях mod_cache, mod_proxy_ajp, mod_proxy_balancer, mod_proxy, mod_expires, mod_info, в Worker MPM. Устранено несколько проблем со сборкой (поддержка libtool 2.x и корректная установка переменной SSL_LIBS при отсутствии pkgconfig).

Из новшеств можно отметить:

 * появление в mod_proxy возможности задания таймаута соединения (connectiontimeout) и задержки при проверке активности проксируемого хоста (ping) в миллисекундах;
 * в mod_autoindex добавлена опция IndexHeadInsert для добавления произвольной строки в блок HTML HEAD;
 * в директиве LogFormat появился новый параметр %k для сохранения в логе числа keepalive запросов для текущего соединения.
http://www.opennet.r...shtml?num=19406 (http://www.opennet.ru/opennews/art.shtml?num=19406)

[size="3"]Microsoft передала код проекту Apache Stonehenge[/size]

Спустя полгода с момента присоединения (http://www.opennet.ru/opennews/art.shtml?num=17134) Microsoft к организации Apache Foundation в качестве платинового спонсора, совершена (http://port25.technet.com/archive/2009/01/19/update-stonehenge-incubation-project.aspx) первая передача кода. Microsoft передала проекту Apache Stonehenge  (http://wiki.apache.org/incubator/StonehengeProposal)код системы StockTrader 2.0 (https://svn.apache.org/repos/asf/incubator/stonehenge/contrib/stocktrader/) в качестве примера реализации сервисно-ориентированной архитектуры (SOA) на языках программирования Java, Perl, PHP, Python, Ruby, .Net/C#.

Цель проекта Apache Stonehenge - тестирование взаимодействия между различными стандартами построения SOA-ориентированных web-сервисов и накопление базы примеров, обобщающих передовой опыт по созданию приложений, взаимодействующих через разрозненные протоколы и использующих различные программные инфраструктуры, для демонстрации совместимости между различными платформами и с целью выявления проблем их взаимодействия.

http://www.opennet.r...shtml?num=19897 (http://www.opennet.ru/opennews/art.shtml?num=19897)

[size="3"]Lucid рассчитывает вывести Apache Lucene в лидеры корпоративных поисковых машин[/size]

Компания Lucid Imagination (http://www.lucidimagination.com/About/), предлагающая основанную на Apache Lucene (http://lucene.apache.org/) и Solr платформу поиска данных масштаба предприятия, планирует (http://www.lucidimagination.com/index.php?option=com_mojo&Itemid=90&p=20) стать одним из ключевых игроков на рынке корпоративных поисковых решений. Такую грандиозную задачу поставил перед собой Eric Gries, директор этой калифорнийской фирмы, в которой трудоустроено 10 главных коммитеров открытого поискового движка Lucene и несколько основателей проекта. В списке клиентов Lucid значатся Netflix, HP, FedEx, Orbitz, AOL, Apple, Comcast, Zappos. Продукт компании имеет реальный шанс составить конкуренцию таким столпам индустрии, как Autonomy, Microsoft (FAST), Endeca и IBM.

Корпоративный поиск - это одно из направлений индустрии ПО, ресурсы которого еще далеко не исчерпаны. Учредитель Lucid, вложивший в нее более 6 млн. долларов, компания Granite Ventures, заявила, что объем этого рынка в 2007 году составлял 1.8 млрд. долларов и растет 10-12% ежегодно. И это еще очень сдержанные оценки, говорит аналитик компании IDC Sue Feldman.

В пакет, который Lucid предлагает своим клиентам входит свободный сертифицированный дистрибутив, а также целый набор опциональных услуг, включающий поддержку, обучение, консалтинг и дополнительное ПО. На сегодняшний день проект используется более чем 4 тыс. компаниями. Стоимость годовой подписки колеблется от 12 до 18 тыс. долларов.

Главное преимущество Lucid по сравнению с проприетарными разработками, заключается в его открытости. В связи с этим, компаниям, решившим использовать это решение, удается избежать рисков, связанных с уходом вендора с арены и прекращением поддержки его ПО. В нынешних условиях существует достаточно много Lucene/Solr специалистов, способных самостоятельно переработать под нужды конкретного потребителя как ядро системы так и систему релевантности критериев или интерфейс оболочки.

http://www.opennet.r...shtml?num=19941 (http://www.opennet.ru/opennews/art.shtml?num=19941)

[size="3"]Выпущен релиз Apache FtpServer 1.0.0 [/size]

Группа разработчиков высокопроизводительного сетевого фреймворка Apache MINA (http://mina.apache.org/) выпустила первый релиз (http://mina.apache.org/ftpserver/2009/02/26/apache-ftpserver-100-released.html) FTP-сервера Apache FtpServer 1.0.0 (http://mina.apache.org/ftpserver/index.html), полностью написанного на языке Java. Продукт может работать как отдельное приложение или выступать в роли библиотеки классов для встраивания функциональности ftp-сервера в пользовательские приложения (интеграция со Spring и OSGi). Интересной особенностью программы является поддержка идеи ftp-летов, выступающих в роли асинхронных обработчиков ftp событий, по аналогии с сервлетами, реагирующими на HTTP-запросы.

Из функций (http://mina.apache.org/ftpserver/features.html) Apache FtpServer можно отметить:

 * Поддержка виртуальных директорий пользователей, с возможностью записи в них и индивидуальным ограничением скорости загрузки;
 * Возможность работы в роли анонимного ftp-сервера;
 * Возможность возобновление прерванных загрузок и закачек с заданной позиции в файле.
 * Списки блокировки IP адресов;
 * Для хранения параметров пользователей сервера может быть задействована СУБД или конфигурация через XML файлы;
 * Поддержка шифрования сессий (SSL/TLS);
 * Поддержка команды MDTM (модификация времени доступа файла);
 * Поддержка режима "MODE Z" для увеличения скорости загрузки благодаря использованию сжатия на лету;
 * Легко подключаемые дополнительные обработчики виртуальных пользователей, блокировки IP или ведения логов.

http://www.opennet.r...shtml?num=20560 (http://www.opennet.ru/opennews/art.shtml?num=20560)

[size="3"]Cloudera готова изменить мнение о сложности развертывания Apache Hadoop[/size]

Компания Cloudera (http://www.cloudera.com/), образованная в прошлом году бывшими сотрудниками Google, Yahoo, Oracle и Facebook, выпустила (http://www.internetnews.com/software/article.php/3810826/Open+Source+Hadoop+Cloud+Gets+Commercial.htm) в свет преконфигурированный дистрибутив Apache Hadoop. Это событие призвано придать дополнительный импульс более широкому распространению платформы, так как, по мнению многих пользователей, основная проблема развертывания и обслуживания Hadoop (http://hadoop.apache.org/core/) -- это высокая сложность его конфигурирования.

Hadoop представляет собой распределенную среду выполнения приложений, построенную по кластерной схеме на базе широко распространенных компьютеров х86 архитектуры. В основе ее работы лежит технология Map/Reduce, когда приложение разбивается на множество маленьких фрагментов, каждый из которых может быть запущен на любом из узлов кластера. В дополнение к этому, Hadoop для хранения данных использует распределенную файловую систему HDFS, в результате чего значительно повышается показатель суммарной пропускной способности кластера. Hadoop и HDFS оптимизированы для работы с очень большими объемами данных и разработаны таким образом, что на любой сбой система реагирует автоматически, обеспечивая высокую надежность и сохранность данных.

Дистрибутив Cloudera собран на последнем стабильном ядре Hadoop, в которое внесены некоторые исправления, направленные на упрощение конфигурации, а также содержит набор дополнительных утилит, значительно упрощающих жизнь системному администратору. В настоящее время продукт доступен виде rpm-пакетов только для Red Hat Enterprise Linux и совместимых дистрибутивов и свободно распространяется под лицензией Apache 2.

http://www.opennet.r...shtml?num=20806 (http://www.opennet.ru/opennews/art.shtml?num=20806)

[size="3"]Вышел пакет для создания корпоративных информационных систем Apache Servicemix 4.0[/size]

Проект Apache выпустил (http://mail-archives.apache.org/mod_mbox/servicemix-users/200903.mbox/%3Cb23ecedc0903260840x5a3dd6fcv2d259d4634b73807@mail.gmail.com%3E) релиз ServiceMix 4.0.0 (http://servicemix.apache.org/home.html), который представляет собой пакет для создания Java приложений, основанный на спецификации Java Business Integration (JBI). ServiceMix базируется на концепции сервисной шины предприятия (Enterprise Service Bus - ESB), комбинируя сервисно-ориентированной архитектуру (Service Oriented Architecture - SOA) и архитектуру на основе событий (Event Driven Architecture - EDA).

http://www.opennet.r...shtml?num=20979 (http://www.opennet.ru/opennews/art.shtml?num=20979)

[size="3"]Apache Software Foundation выпускает новую версию корпоративной бизнес платформы [/size]

Сегодня организация Apache Software Foundation объявила о выходе новой версии бизнес платформы Apache OFBiz 9.4. Это первый за последние два года релиз мощного открытого фреймворка для построения высокоуровневых приложений для ведения интернет бизнеса (eCommerce), корпоративного планирования ресурсов и управления базой данных клиентов. На сегодняшний день OFBiz является одной из наиболее востребованных открытых бизнес-платформ, тысячи инсталляций которой успешно работают по всему миру.

В качестве Apache-проекта, OFBiz управляется специальным менеджерским советом (Project Management Committee), который в числе прочего занимается продвижением продукта на рынке. «Открытая природа проекта позволяет ему без труда адаптироваться к растущим потребностям современного бизнеса и не накладывает дополнительных лицензионных ограничений, наличие которых во многих случаях ведет к отказу от поддержки такого решения вендорами и сервис-провайдерами» - пояснил создатель OFBiz и председатель совета управляющих David E. Jones.

Проект написан на Java и дополнительно использует технологии XML и SOAP. Хотя OFBiz и предполагает персонифицированную доработку кода под конкретного клиента, он может использоваться и с базовыми настройками и модулями. Релиз отличает повышенная защищенность и стабильность работы, а так же целый ряд интересных новшеств. Вот только некоторые из них:

 * На корпоративном уровне расширена поддержка бухгалтерских операций, функций управления проектами, рабочей силой, продажами. Добавлены новые визуальные темы, инструменты для исследования рынка, отчеты. Представлен стабильный вариант web-точки продаж, поддерживающей eBay и Google Checkout транзакции.
 * Изменена стратегия выпуска новых версий. Теперь, вместо последовательной нумерации будет использоваться временная, прототипом которой является модель Ubuntu. Таким образом новая версия получила номер 9.04, что означает стабильный релиз, датируемый апрелем 2009 года.

http://www.opennet.r...shtml?num=21358 (http://www.opennet.ru/opennews/art.shtml?num=21358)

[size="3"]Лицензии Apache и GPL с точки зрения opensource бизнеса[/size]

Волна споров о том, какая из лицензий GPL или BSD/Apache лучше подходит для реалий современного бизнеса, похоже, накатывает с новой силой. Позиции обеих сторон достаточно хорошо известны и в двух словах их можно охарактеризовать как противостояние разработчиков и бизнеса. С одной стороны положения GPL фокусируются на защите разработчиков, но вместе с тем сильно тормозят коммерческое внедрение проектов. Это заставляет компании, открытые разработки которых нашли сколь-нибудь массовое применение, искать способы для обхода строгих положений GPL.

Как пишет Geir Magnusson из организации Apache Software Foundation: «...наиболее успешные проекты СПО либо не используют GPL вообще, либо модифицируют ее таким образом, чтобы "свобода" не мешала людям пользоваться проектом». Так для OpenJDK есть исключения классов (Classpath Exception), модули Linux имеют собственные исключения, стандартные библиотеки распространяются под LGPL, а у MySQL вообще своя лицензионная программа. То есть, если мы делаем ставку на то, что «открытость - это стратегия победы», тогда почему бы не прекратить загонять свободные проекты в какие-то искусственные рамки и не использовать наиболее открытые лицензии.

Похожей позиции придерживается глава Sun Microsystems Джонотан Шварц. По его словам основное преимущество opensource в его открытости и доступности, а не в протекционизме открытого кода. Свободное ПО - это достаточно эффективный способ распространения программного обеспечения и максимизации пользовательской аудитории по очень низкой цене. Исходя из этого поддержка лицензии Apache, как средства расширения пользовательской базы, была бы несомненным шагом вперед в продвижении opensource в массы.

В общем, GPL может быть и хорошее средство капитализации открытых проектов, но лицензия Apache в этой точки зрения выглядит еще более привлекательно.

http://www.opennet.r...shtml?num=21525 (http://www.opennet.ru/opennews/art.shtml?num=21525)

[size="3"]Компания Yahoo выпустила свободный дистрибутив платформы Apache Hadoop[/size]

Компания Yahoo объявила о выпуске собственной версии дистрибутива платформы Apache Hadoop, предназначенной для организации распределенной обработки больших объемов данных (петабайты) с использованием парадигмы map/reduce, когда задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. Дистрибутив включает в себя набор подготовленных в недрах Yahoo дополнений и улучшений, используется в компании непосредственно в работе поискового движка и распространяется в исходных текстах. Код Hadoop и новый дистрибутив Yahoo распространяются под лицензией Apache 2.0.

Представленный код отличается высоким качеством и всесторонне протестирован в промышленной эксплуатации, так как непосредственно используется в самых больших из существующих Hadoop кластеров (Hadoop кластеру Yahoo принадлежит мировой рекорд скорости сортировки большого объема данных). Разработчики Yahoo надеются, что представленный пакет сможет помочь развитию оригинального проекта Apache Hadoop, поддерживаемого Apache Software Foundation, а также повысить качество дистрибутива Cloudera, нацеленного на упрощение развертывание и конфигурирование Hadoop кластеров. Из других проектов, использующих систему Hadoop, можно отметить социальную сеть Facebook и Microsoft Kumo (поисковая технология идущая на смену Live Search).

Одновременно компания Cloudera представила проект Sqoop, предназначенный для миграции данных из классических SQL баз или отдельных таблиц в хранилище на базе Apache Hadoop. Кроме того, Sqoop поддерживает средства для генерации готовых Java классов для последующей работы с импортированными данными. Для упрощения доступа к данным в Hadoop хранилище изначально разрабатывается SQL-подобный язык Pig, который является своего рода SQL для MapReduce, запросы которого могут быть распараллелены и обработаны несколькими Hadoop-платформами.

http://www.opennet.r...shtml?num=22130 (http://www.opennet.ru/opennews/art.shtml?num=22130)

[size="3"]ЦРУ стало инвестором Apache Lucene[/size]

Центральное разведывательное управление США через посредника, компанию In-Q-Tel (IQT), приобрела услуги по развертыванию открытой полнотекстовой поисковой web-системы Solr, разрабатываемую подразделением Apache - Lucid Imagination. Доподлинно неизвестно сколько IQT собирается инвестировать в Lucid, но сервисный контракт будет охватывать 19 правительственных организаций так или иначе связанных с разведывательной деятельностью.

В настоящее время примерно 4 тыс. организаций используют поисковый движок Lucene/Solr в своих системах, а раздающие сервера регистрируют до 9 тыс. запросов на скачивание ежедневно. Lucid заявляет, что большое количество компаний заменяют ранее установленные проприетарные решения на web-сервисы Solr, использующие библиотеку Lucene. Их привлекают низкая стоимость владения сочетающаяся с уникальной гибкостью и расширяемостью архитектуры.

Компания Lucid выпускает сертифицированные свободно распространяемые дистрибутивы своего ПО, предлагает различные уровни сервиса, тренинги и консультации для производителей ПО. Lucid была образована в январе 2009 года в ответ на непрекращающийся рост интереса к технологии Lucene/Solr и недостаток коммерческой поддержки данного продукта.

http://www.opennet.r...shtml?num=22233 (http://www.opennet.ru/opennews/art.shtml?num=22233)

[size="3"]Вышел релиз Http-сервера Apache 2.2.12[/size]

Увидел свет корректирующий релиз http-сервера Apache 2.2.12 в котором устранено 7 незначительных уязвимостей и внесено 38 изменений.

Исправлены уязвимости:

 * Возможность совершения DoS атаки через создание излишней нагрузки на CPU, через создание серии "оборванных" запросов больших файлов, которые будут до конца обработаны такими ресурсоемкими модулями, как mod_deflate;
 * Уязвимость, позволяющая локальному пользователю организовать выполнение команды через SSI конструкцию "#exec" не имея на это полномочий ("AllowOverride ... Options=IncludesNoEXEC" в httpd.conf), если в .htaccess файле указать "Options Includes";
 * Ошибка в модуле mod_proxy могла быть использована злоумышленниками для вызова отказа в обслуживании через чрезмерное потребление ресурсов CPU после отправки специального запроса к прокси;
 * Уязвимость в mod_proxy_ajp позволяла злоумышленнику получить содержимое предыдущего запроса, в случае проблем с его доставкой;
 * Три уязвимости в утилите APR.

Из изменений можно отметить:

 * Накопившиеся ошибки были устранены в модулях: mod_include, mod_rewrite, mod_deflate, mod_alias, mod_proxy, mod_negotiation, mod_substitute, mod_disk_cache/mod_mem_cache, mod_ext_filter, mod_cgid, mod_ldap,
 * В mod_include добавлена поддержка генерации не-ASCII символов в качестве элементов в SSI;
 * В модуле mod_disk_cache появилась возможность отключения использования sendfile через задание глобальной директивы 'EnableSendfile off';
 * В prefork MPM исправлена ошибка, приводившая к экстренному завершению дочерних процессов при выполнении graceful-метода перезапуска в конфигурациях с несколькими слушающими сокетами;
 * Новый синтаксис для перенаправления логов процессу-фильтру: при задании "||process args" процесс будет вызван напрямую, без промежуточного запуска командного интерпретатора/шела (при задании "|$command line" процесс будет запущен через shell);
 * В mod_rewrite представлен новый флаг "DiscardPathInfo|DPI" для предотвращения добавления PATH_INFO при каждой замене до рассмотрения следующего правила замены;
 * В mod_cache добавлена возможность запрещения сохранения данных в кэш при определении переменной 'no-cache' в запросе;
 * При обработке CGI при наступлении таймаута до появления первой строки заголовка теперь выдается код 504 (Gateway timeout), вместо 500;
 * В mod_ssl добавлена поддержка индикации имени сервера (RFC 4366) и улучшена поддержка работы виртуальных хостов с разделением по именам. Добавлены новые директивы SSLRenegBufferSize, SSLProxyCheckPeerExpire и SSLProxyCheckPeerCN.

http://www.opennet.r...shtml?num=22782 (http://www.opennet.ru/opennews/art.shtml?num=22782)

[size="3"]Организация Apache Software Foundation выступила с инициативой Myapache[/size]

В этом году организации Apache Software Foundation исполняется 10 лет. В честь юбилея организована инициатива MyApache, в рамках которой всем пользователям предложено подготовить видео-ролик, в котором будет рассказываться о том, почему они любят технологии Apache.

К видеоматериалам MyApache предъявляется ряд требований. Так, видео не должно быть длиннее 1 минуты, а также не должно иметь неуместное, оскорбительное или незаконное содержание. В материале необходимо рассказывать о том, как используется или использовался Apache; что было создано или сделано с Apache; почему вы любите Apache; мысли и пожелания для Apache Software Foundation (пение на тему "С днем рождения" - рекомендуется!). Кроме того, предлагается в видео ответить на любую комбинацию таких вопросов, как: Почему я люблю Apache? Почему я начал использовать Apache? Как я могу использовать Apache? Как я использую Apache на работе, в качестве хобби или для других целей? Что я рад пожелать ASF на юбилей и почему я хотел бы поблагодарить ASF? и другие.

Все видеоматериалы MyApache будут представлены на YouTube (канал TheApacheWay). Лучшие ролики будут размещены на сайте Apache Software Foundation и продемонстрированы на конференции ApacheCon.

http://www.opennet.r...shtml?num=23096 (http://www.opennet.ru/opennews/art.shtml?num=23096)

[size="3"]Web-сервер проекта Apache подвергся взлому[/size]

Администраторы Apache Software Foundation в экстренном порядке произвели изменение в DNS зоне apache.org, перенаправив запросы основного web-сервера проекта на запасное зеркало в Европе. Пользователи, у которых старый IP сайта www.apache.org все еще находится в DNS кэше, могут увидеть пустую страницу с уведомлением в блокировке работы сайта в связи со взломом.

Подробности пока неизвестны, в уведомлении рассказано только о том, что ряд серверов пришлось отключить от сети из-за обнаружения следов проникновения злоумышленников. По предварительным данным, проникновение было организовано через украденный у одного из разработчиков SSH-ключ, а не через неизвестную уязвимость в http-сервере Apache.

http://www.opennet.r...shtml?num=23208 (http://www.opennet.ru/opennews/art.shtml?num=23208)

[size="3"]Новый Apache-проект для создания сервисов на основе Rest[/size]

Увидел свет новый проект, целью которого является разработка среды для создания web-сервисов, использующих технологию REST, выпустил первый релиз. Apache Wink на данный момент находится в Инкубаторе, где "набирает силы" перед тем, как стать полноправным проектом Apache. Исходный код Wink был внесен в инкубатор компаниями HP и IBM, которые и в дальнейшем собираются принимать участие в его судьбе.

Версия 0.1 среды разработки содержит модули сервера и клиента, обрабатывающие данные согласно спецификации сервисов на основе REST. Текущая их реализация опирается на JAX-RS 1.0 (Java API для RESTful Web Services; JSR 311), к которой в дальнейшем будут добавлены дополнительные функции, облегчающие построение web-служб REST.

REST или передача состояния представления (Representational State Transfer) -- это новая популярная тенденция в разработке web приложений. С ее помощью каждый web ресурс сети представляется в виде объекта, доступ к которому может быть организован через стандартные методы протокола HTTP, такие, как GET, POST, PUT и DELETE.

http://www.opennet.r...shtml?num=23235 (http://www.opennet.ru/opennews/art.shtml?num=23235)

[size="3"]Проект Subversion переходит под крыло Apache Software Foundation [/size]

Компания Collabnet, поддерживающая разработку централизованной системы контроля версий Subversion, начала процесс передачи управления проектом организации Apache Software Foundation. В настоящий момент завершена первая стадия на пути перевода Subversion в разряд первичных проектов, развиваемых под эгидой Apache - код интегрирован в "инкубатор" для прохождения проверки.

По своему духу Subversion близок к Apache, так как использует похожую модель разработки и организации работы сообщества, не говоря о распространении исходных текстов под лицензией Apache 2.0 и использовании Subversion в качестве основной системы управления версиями в инфраструктуре Apache. После завершения интеграции, компания Collabnet намерена продолжить поддержку разработки и сохранить все базирующиеся на Subversion коммерческие сервисы в прежнем объеме.

По мнению руководителя проекта Subversion, интеграция с Apache позволит расширить число заинтересованных в улучшении Subversion разработчиков и подтолкнуть проект на новую ступень развития. В качестве перспективного направления рассматривается создание готового стека для управления проектами на языке Java, построенного на базе связки Apache Tomcat, Subversion и Apache Maven.

http://www.opennet.r...shtml?num=24127 (http://www.opennet.ru/opennews/art.shtml?num=24127)

[size="3"]Социальная сеть Facebook вошла в число спонсоров Apache Software Foundation[/size]

Социальная сеть Facebook вошла в число организаций, поддерживающих проекты фонда Apache в статусе "золотого" спонсора. Кроме финансовой поддержки, помогающей развитию проектов Apache, поддержанию инфраструктуры и проведению встреч разработчиков, Facebook принимает участие в разработке таких проектов Apache, как Hive, Hadoop, Thrift и Cassandra. Два из последних проектов разработаны в недрах Facebook и представлены сообществу Apache как открытые разработки.

Thrift представляет собой фреймворк для расширяемой межъязыковой разработки сервисов, позволяющий генерировать код для сервисов, поддерживающих языки C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, Smalltalk и OCaml. Cassandra является высоко масштабируемой распределенной базой данных, объединяющей полностью распределенную хеш-систему Dynamo с моделью хранения данных, похожую на Google Bigtable.

Таким образом, в число платиновых спонсоров Apache входят компании Google, Microsoft и Yahoo!; в число золотых спонсоров - Facebook и Hewlett-Packard; в число серебряных - Progress Software и Springsource/VMWare; бронзовых - BlueNog, Intuit, Joost и Matt Mullenweg.

Инфраструктура Facebook работает на стандартном LAMP стеке (Linux, Apache, MySQL, PHP), наиболее нагруженные серверные компоненты написаны на C++, Erlang и Java. Из недр Facebook выросли такие открытые проекты, как:

 * высокопроизводительный web-сервер Tornado совмещенный с фреймворком для разработки web-приложений на языке Python, напоминающим Django, Google webapp и web.py;
 * система агрегирования логов с большого числа серверов Scribe;
 * библиотека для построения web-сервисов Thrift;
 * в рамках проекта Facebook Open Platform доступен код REST API, парсеров FBML (Facebook Markup Language), FQL (Facebook Query Language) и FBJS (Facebook Javascript);
 * патчи для улучшения производительности memcached в 4-6 раз;
 * распределенное хранилище ThruDB;
 * интерактивный shell phpsh,
 * система профилирования PHP скриптов XHProf;
 * библиотека для встраивания PHP скриптов в C++ программы;
 * распределенное хранилище данных cassandra;
 * утилита flvtool++ для изменения мета-данных в FLV файлах.

http://www.opennet.r...shtml?num=24991 (http://www.opennet.ru/opennews/art.shtml?num=24991)

[size="3"]Релиз Apache 1.3.42 и 2.3.5, ветка 1.3.x прекращает свое существование[/size]

Увидел свет релиз http-сервера Apache 1.3.42 в котором устранена критическая уязвимость в mod_proxy, вызванная возможностью совершения целочисленного переполнения в функции "ap_proxy_send_fb(). Успешная эксплуатация может позволить злоумышленнику выполнить свой код на сервере, работающем в режиме прокси. Успешное проведение атаки возможно только на 64-разрядных системах, на которых тип данных "long" превышает по размеру тип "int".

Разработчики сообщили о том, что Apache 1.3.42 является последним релизом серии 1.3.x, но в случае обнаружения критических уязвимостей патчи в будущем можно будет загрузить на странице www.apache.org/dist/httpd/patches. Пользователям Apache 1.3.x рекомендуется провести переход на версию Apache 2.2.14.

Одновременно вышел релиз Apache 2.3.5, имеющий статус альфа-версии. В дальнейшем на базе тестовой ветки Apache 2.3.x будет сформирован стабильный релиз Apache 2.4.0. Из новшеств Apache 2.4 можно отметить:

 * Возможность указания значения параметра KeepAliveTimeout в миллисекундах;
 * Добавление Simple MPM, написанного с нуля MPM-модуля с поддержкой управления несколькими многопоточными обработчиками. В модуле не используются функции "os/unixd/". Разработчик надеется, что в Apache 2.4.0 данный MPM будет использован по умолчанию для Unix систем;
 * Многие MPM могут быть сразу собраны в виде динамически загружаемых модулей, которые можно активировать в конфигурации без последующей пересборки;
 * В mod_ssl добавлена поддержка проверки статуса клиентского сертификата на OCSP серверах. Также добавлена возможность совместного использования данных SSL сессии на нескольких http-серверах, через задействование memcached;
 * Новый модуль mod_lua, позволяющим интегрировать в httpd интерпретатор языка Lua;
 * В состав включен модуль mod_proxy_fcgi, с поддержкой проксирования протокола FastCGI (поддержка схемы "fcgi:" в директиве "ProxyPass");
 * В поставку Apache включен скрипт fcgistarter, предназначенный для запуска серверных FastCGI процессов.

http://www.opennet.r...shtml?num=25215 (http://www.opennet.ru/opennews/art.shtml?num=25215)

[size="3"]Subversion влился в число первичных проектов Apache[/size]

Разработчики системы управления версиями Subversion сообщили о завершении проверки в "инкубаторе" и принятии Subversion число первичных проектов, развиваемых под эгидой Apache. В инкубаторе проект находился с ноября, после передачи компанией Collabnet управления над проектом организации Apache Software Foundation.

Для разработчиков и пользователей переход Subversion в число проектов Apache не приведет к существенным изменениям, так как проект и ранее использовал похожую модель разработки и организации работы сообщества, а исходные тексты изначально распространялись под лицензией Apache 2.0. Компания Collabnet также не намерена отстраняться от проекта и продолжит развитие Subversion в прежнем объеме, но уже в качестве добровольного помощника.

По мнению руководителя проекта Subversion, интеграция с Apache позволит расширить число заинтересованных в улучшении Subversion разработчиков и подтолкнуть проект на новую ступень развития. Subversion уже давно используется в качестве основной системы управления версиями в инфраструктуре Apache, среди планов на будущее отмечается создание готового стека для управления проектами на языке Java, построенного на базе связки Apache Tomcat, Subversion и Apache Maven.

http://www.opennet.r...shtml?num=25485 (http://www.opennet.ru/opennews/art.shtml?num=25485)

[size="3"]HTTP-серверу Apache исполнилось 15 лет[/size]

Проект Apache празднует свое 15-летие. 23 февраля 1994 года группа энтузиастов объявила о создании списка рассылки new-httpd в котором предлагалось обсудить продолжение развития проекта NCSA httpd, находящегося в состоянии стагнации из-за переключение внимания авторов на проект "Mozilla". В первые несколько дней после начала обсуждения родилась идея присвоить улучшенному http-серверу имя Apache, также были выработаны три основные принципа формирования нового проекта: полное соответствие стандартам, свободное распространение исходных текстов и гибкая система подключения дополнений.

18 марта 1994 года был выпущен первый тестовый релиз проекта Apache, в декабре 1995 года увидел свет первый стабильный релиз Apache 1.0, в 1999 году вышел один из самых популярных релизов Apache - 1.3.0. К августу 1995 года на базе Apache функционировало уже 658 сайтов, в июне 2000 года число web-сайтов работающих под управлением Apache пересекло отметку 10 миллионов, в ноябре 2001 - 20 миллионов, в ноябре 2003 года - 30 миллионов, в феврале 2005 года - 40 миллионов, в феврале 2010 достигло 112 млн.

В марте 1999 года для курирования проекта была создана некоммерческая организация Apache Software Foundation, на которую были возложены вопросы юридической и финансовой поддержки проекта. Дополнительной целью организации было создание нейтральной и доверительной платформы для разработки развиваемого силами сообщества программного обеспечения. Сообщество Apache перестало быть ориентированным только на создание http-сервера и переросло в движение, объединяющее близкие по духу проекты (лицензия Apache, единые правила разработки, единая культура общения, общая инфраструктура).

За 11 лет с момента основания Apache Software Foundation число развиваемых в рамках Apache проектов увеличилось с 1 до 140. В настоящее время в проекты Apache вносится ежемесячно в среднем 10 тыс. коммитов, в сообществе насчитывается более двух тысяч разработчиков, имеющих право внесения изменений в репозитории исходных текстов (коммитеров). Для http-сервера Apache создано около 500 сторонних модулей.

http://www.opennet.r...shtml?num=25540 (http://www.opennet.ru/opennews/art.shtml?num=25540)

Цитата: turbo от 23 Февраля 2010, 23:10[size="3"]HTTP-серверу Apache исполнилось 15 лет[/size]

Может все-таки 16, а не 15?

[size="3"]Распределенная БД Cassandra принята в число основных проектов Apache[/size]

Член организации Apache Software Foundation (ASF) Мэтью Риу (Matthieu Riou) объявил о том, что распределённое хранилище данных Apache Cassandra отныне становится проектом первого уровня (Apache Top-Level Project, TLP), что знаменует окончание периода нахождения проекта в "инкубаторе".

Изначально проект Cassandra был разработан в недрах компании Facebook, открывшего исходные тексты проекта в июле 2008 года. Facebook также принимает участие в разработке некоторых других проектов Apache, включая Thrift, Hive и Apache Hadoop.

Cassandra, высоко масштабируемая распределенная база данных, объединяет в себе полностью распределенную hash-систему Dynamo и модель хранения данных на базе семейства столбцов (ColumnFamily, вложенные хэши), впервые реализованную в Google BigTable. Cassandra относится к категории хранилищ повышенно устойчивых к сбоям: помещаемые в БД данные автоматически реплицируются на несколько узлов распределенной сети или даже равномерно распределяются по нескольким дата-центрам. При сбое узла, его функции на лету подхватываются другими узлами. Добавление новых узлов в кластер Cassandra также производится на лету, без дополнительного ручного вмешательства и переконфигурирования других узлов.

Свежим релизом Cassandra является версия 0.5.0, предлагающая общее улучшенное распараллеливание запросов по сравнению с предыдущими версиями. Cassandra используется рядом крупных компаний, включая Rackspace, Digg, Facebook, Twitter, Cisco, Mahalo, Ooyala и д.р.. Код проекта написан на языке Java и выходит под второй версией лицензии Apache.

http://www.opennet.r...shtml?num=25539 (http://www.opennet.ru/opennews/art.shtml?num=25539)

[size="3"]Вышел первый стабильный релиз Apache Tomcat 7.0[/size]

Представлен (http://www.mail-archive.com/announce@tomcat.apache.org/msg00034.html) релиз Apache Tomcat 7.0.6 (http://tomcat.apache.org/), контейнера для выполнения JSP-страниц и Java-сервлетов с реализацией полной поддержки спецификации Java Servlet 3.0. По приблизительным оценкам Tomcat используется на 75% сайтов, базирующихся на Java. Tomcat 7 позволяет упростить разработку и развертывание сложных web-приложений на языке Java, предоставляя встроенную поддержку возможностей, которые без Tomcat необходимо было бы реализовывать вручную.
Версия 7.0.6 является первым стабильным выпуском в ветке Tomcat 7, прошлые выпуски Tomcat 7.0.x имели статус бета-версий. Из изменений отмечено проведение работы по улучшению производительности в системе управления сессиями, подготовлен новый бинарный вариант поставки для встраивания Tomcat в другие приложения, улучшена работа кода по обнаружению утечек памяти и выявлению ошибок.

Из наиболее значительных новшеств (http://tomcat.apache.org/tomcat-7.0-doc/changelog.html), свойственных ветке Tomcat 7, можно отметить:

• Поддержка стандартов Servlet 3.0 и JSP 2.2 (JavaServer Pages). В частности, добавлена поддержка стандартного API для асинхронной обработки запросов, расширенные средства для трекинга сессий, класс SessionCookieConfig для конфигурирования "Cookies", новые средства для загрузки файлов;
• Поддержка языка EL 2.2 (Expression Language), предназначенного для организации доступа к Java-компонентам (JavaBeans) из JSP-страниц с целью отделения Java-кода от элементов дизайна;
• Более широкие возможности по обнаружению ошибок в коде на этапе сборки;
• Добавлены (http://wiki.apache.org/tomcat/MemoryLeakProtection) специальные средства для анализа распределения памяти и выявления утечек памяти;
• Дополнительные средства контроля доступа. В приложения Manager и Host Manager добавлены дополнительные авторизационные роли, позволяющие разделить права доступа для HTML-интерфейса, текстового интерфейса и JMX-прокси;
• В Manager и Host Manager добавлен код для защиты web-приложений от CSRF-атак (Сross Site Request Forgery). Реализован метод борьбы с атаками, связанными с фиксацией сессий;
• Механизмы для динамического управления конфигурацией с задействованием ServletContex, также добавлена поддержка разбиения конфигурации на модули и определения конфигурации на основе аннотаций;
• Проведена значительная чистка и рефакторинг кода, в том числе удален код, помеченный ранее как устаревший (Deprecated). Увеличена надежность, расширяемость и безопасность кодовой базы, улучшены средства для интеграции с менеджером безопасности, коннекторами, MBean-регистрации, движком Jasper и менеджерами управления жизненным циклом.
• Поддержка обработки web-приложений с учетом их версий (версионный контроль);
• Реализован упрощенный интерфейс для встраивания Tomcat в пользовательские приложения;
• Поддержка формирования собственных тестов качества интеграции сервлетов, фильтров и обработчиков соединений через использование базового класса JUnit;
• Возможность интеграции внешних директорий, не входящих в дерево директорий web-приложения, и внешних JAR-архивов, размещенных вне каталога WEB-INF/lib.

[size="3"]Yahoo закрывает собственный Hadoop-дистрибутив и фокусирует внимание на Apache Hadoop [/size]

Компания Yahoo заявила (http://developer.yahoo.com/blogs/hadoop/posts/2011/01/announcement-yahoo-focusing-on-apache-hadoop-discontinuing-the-yahoo-distribution-of-hadoop/) о прекращении развития собственного варианта (http://developer.yahoo.com/hadoop) платформы для организации распределенных вычислений Hadoop и переходе к формированию кодовой базы, единой с проектом Apache Hadoop (http://hadoop.apache.org/). Следует отметить, что Hadoop-дистрибутив Yahoo, как и Apache Hadoop, распространялся под лицензией Apache и был доступен (http://yahoo.github.com/hadoop-common) для свободного использования. Тем не менее, руководство Yahoo пришло к решению о необходимости уменьшения фрагментации Hadoop-систем и переходу к более тесному взаимодействию с сообществом Apache, в рамках которого все силы будут брошены на развитие единого продукта.

Hadoop-дистрибутив Yahoo используется в самом большом из существующих Hadoop кластеров (Hadoop кластеру Yahoo принадлежит (http://www.opennet.ru/opennews/art.shtml?num=21767) мировой рекорд скорости сортировки большого объема данных) и отличается более жесткими требованиями к всестороннему тестированию перед использованием в промышленной эксплуатации, а также содержит ряд дополнений, оптимизированных для обеспечения работы поискового движка. Со временем степень расхождения кодовых баз Yahoo Hadoop и Apache Hadoop нарастала, что в конечном итоге заставило задуматься о необходимости нахождения компромиссного решения, способного вновь направить расходящиеся потоки в единое русло.

После принятия подобного решения руководством Yahoo, возникла новая задача - организация передачи Apache Hadoop созданных в Yahoo наработок, в которых вложено несколько человеко-лет труда. В настоящее время в Yahoo поддерживается две ветки Hadoop - стабильная и экспериментальная. Стабильная ветка непосредственно используется на кластере Yahoo, состоящем из 40 тысяч узлов, а в экспериментальной ветке обкатываются новые возможности. В настоящее время, экспериментальная ветка позволяет организовывать больше хранилищ в рамках одного кластера, содержит новый фреймворк для обработки метрик и поддерживает несколько новых техник оптимизации выполнения небольших заданий.

Интеграцию с Apache Hadoop планируется начать с передачи кода из стабильной ветки, которая по заявлению вице-президента Yahoo надежна и высокопроизводительна, как ни один из ранее выпущенных релизов Hadoop. После того как сообщество одобрит включение стабильной ветки в кодовую базу Apache Hadoop, Yahoo приступит к интеграции экспериментальной ветки. После завершения передачи наработок экспериментальной ветки, Yahoo вернется к прежнему циклу выпуска регулярных релизов, синхронизируя свою работу с другими представителями сообщества разработчиков Apache Hadoop и предоставляя значительные ресурсы для стабилизации и тестирования кода.

Hadoop является свободной платформой для организации распределенной обработки больших объемов данных (петабайты) с использованием парадигмы map/reduce, при которой задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. В состав Hadoop входит также реализация распределенной файловой системы Hadoop Distributed Filesystem (HDFS (http://hadoop.apache.org/hdfs/)), автоматически обеспечивающей резервирование данных и оптимизированной для работы MapReduce-приложений. Для упрощения доступа к данным в Hadoop хранилище разработана БД HBase (http://hadoop.apache.org/hbase/) и SQL-подобный язык Pig (http://hadoop.apache.org/pig/), который является своего рода SQL для MapReduce, запросы которого могут быть распараллелены и обработаны несколькими Hadoop-платформами.

[size="3"]Новое поколение MapReduce в Apache Hadoop[/size]
 
В большом бизнесе использование нескольких больших кластеров с финансовой точки зрения более эффективно, чем много маленьких. Чем больше машин в кластере, тем большими наборами данных он может оперировать, больше задач могут выполняться одновременно. Реализация MapReduce в Apache Hadoop столкнулась с потолком масштабируемости на уровне около 4000 машин в кластере. Разрабатывается следующее поколение Apaсhe Hadoop MapReduce, в котором появится общий планировщик ресурсов и отдельный мастер для каждой отдельной задачи, управляющий выполнением программного кода. Так как простой оборудования по техническим причинам обходится дорого на таком масштабе, высокий уровень доступности проектируется с самого начала, равно как и безопасность и многозадачность, необходимые для поддержки одновременного использования большого кластера многими пользователями. Новая архитектура также будет более инновационной, гибкой и эффективной с точки зрения использования вычислительных ресурсов.

>>> Подробности (http://www.insight-it.ru/masshtabiruemost/novoe-pokolenie-mapreduce-v-apache-hadoop/)

[size="3"]Проект Chemistry переведен в разряд первичных проектов Apache [/size]

Организация Apache Software Foundation объявила (https://blogs.apache.org/foundation/entry/the_apache_software_foundation_announces11) об успешном завершении проверки в "инкубаторе" и принятии в число первичных проектов, развиваемых под эгидой Apache, проекта Apache Chemistry (http://chemistry.apache.org/). Перевод Apache Chemistry в разряд первичных означает, что продукт и развивающее его сообщество подтвердили способность следования принципам разработки Apache и теперь готовы для самостоятельного существования, не требующего дополнительного надзора. В дальнейшем для управления разработкой и координации подготовки релизов будет выбран комитет, состоящий из активных участников проекта.

Apache Chemistry представляет собой открытую реализацию стандарта CMIS (http://www.oasis-open.org/committees/comments/index.php?wg_abbrev=cmis), (Content Management Interoperability Services), определяющего средства для обмена разнородной информации между системами управления контентом предприятия (ECM - Enterprise Content Management) и внешними приложениями. Для управления данными в CMIS определен SQL-подобный язык запросов CQL (CMIS Query Language), ориентированный на работу с неструктурированными данными. API, поддерживаемый в Apache Chemistry, позволяет создавать приложения, которые могут свободно манипулировать данными в CMIS-ропозиториях таких продуктов, как Alfresco, EMC Documentum, IBM FileNet, Microsoft SharePoint, Nuxeo и OpenText. Из компаний, использующих Apache Chemistry в своих продуктах и сервисах отмечаются Adobe, Alfresco, Metaversant, Nuxeo, OpenText, OpenWGA и SAP.

Apache Chemistry состоит из следующих субпроектов:

• OpenCMIS - Java-библиотеки с реализацией CMIS-клиента и сервера;
• cmislib - клиентская CMIS-библиотека для языка Python;
• phpclient - клиентская CMIS-библиотека для языка PHP;
• DotCMIS - клиентская CMIS-библиотека для платформы .NET.

[size="3"]Выход Apache 2.3.11 ознаменовал переход ветки 2.3 на стадию бета-тестирования [/size]

Увидел свет (http://mail-archives.apache.org/mod_mbox/httpd-announce/201103.mbox/%3C093B0714-1FD6-49AA-877C-E4A4F314CBF8@apache.org%3E) новый выпуск экспериментальной ветки http-сервера Apache 2.3.11, на базе которой будет сформирована стабильная ветка 2.4. Версия 2.3.11 примечательна переходом (http://mail-archives.apache.org/mod_mbox/httpd-dev/201103.mbox/%3C995E2C8B-F2F1-4A75-8C8B-EA76C4AD82A4@jaguNET.com%3E) на стадию бета-тестирования, на которой наращивание функциональности сменяется стадией выявления и исправления ошибок. В состав ветки 2.3.x вошли новые возможности которые невозможно интегрировать в стабильную ветку 2.2.x в силу большого размера вносимого кода, необходимости значительной переработки подсистем или из-за нарушения совместимости.

Релиз 2.3.11 включает в себя Apache Portable Runtime (APR) 1.4.2 и APR-Util 1.3.10, которые в отличие от прошлых выпусков выделены (http://httpd.apache.org/dev/dist/) в отдельный архив "-deps". В Apache 2.3.11 используется расширенный вариант Apache 2.2 API, поэтому для работы в Apache 2.3.x собранных для Apache 2.2.x модулей требуется их пересборка и, возможно, незначительная модификация кода.

Из новшеств (http://httpd.apache.org/docs/trunk/new_features_2_4.html), ожидаемых в будущей стабильной ветке Apache 2.4, можно отметить:

• Несколько MPM могут быть сразу собраны в виде динамически загружаемых модулей, которые можно активировать в конфигурации без последующей пересборки;
• С модуля Event MPM (http://httpd.apache.org/docs/2.2/mod/event.html) снят гриф экспериментальной разработки. Event MPM основан на коде модуле Worker и реализует гибридную модель обработки соединений, сочетающую многопоточность с пулом ожидающих соединения процессов;
• Возможность определения через оператор "If (http://httpd.apache.org/docs/trunk/mod/core.html#if)" блоков конфигурации, привязанных к отдельным запросам (Per-request configuration). Например, можно использовать If "$req{Host} = ''", внутри выражения можно ссылаться на HTTP-заголовки запроса ($req), заголовки ответа ($resp) и переменные окружения ($env);
• Реализована поддержка асинхронных операций чтения и записи;
• Возможность определения через директиву LogLevel разных форматов ведения лога для отдельных модулей и директорий;
• Возможность указания значения параметра KeepAliveTimeout в миллисекундах;
• Новые модули:
  • mod_lua (http://httpd.apache.org/docs/trunk/mod/mod_lua.html) - позволяет интегрировать в httpd интерпретатор языка Lua;
  • mod_proxy_fcgi (http://mproxyfcgi.sourceforge.net/) - модуль с поддержкой проксирования протокола FastCGI (поддержка схемы "fcgi:" в директиве "ProxyPass");
  • mod_proxy_scgi (http://httpd.apache.org/docs/trunk/mod/mod_proxy_fcgi.html) - модуль с поддержкой проксирования протокола SCGI (поддержка схемы "scgi:" в директиве "ProxyPass");
  • mod_ratelimit (http://httpd.apache.org/docs/trunk/mod/mod_ratelimit.html) - позволяет организовать ограничение пропускной способности клиентов (например, суммарно для всех можно ограничить общую пропускную способность только для страницы загрузки файлов);
  • mod_remoteip (http://httpd.apache.org/docs/trunk/mod/mod_remoteip.html) - заменяет значение IP-клиента на содержимое из определенного HTTP-заголовка (например, X-Client-IP или X-Forwarded-For). Обычно модуль используется при работе apache в роли бэкенда;
  • mod_reflector (http://httpd.apache.org/docs/trunk/mod/mod_reflector.html) - позволяет возвращать клиенту тело запроса, применив к нему определенный фильтр;
  • mod_reqtimeout (http://httpd.apache.org/docs/trunk/mod/mod_reqtimeout.html) - позволяет установить таймаут и минимальную интенсивность потока данных при обработке входящих запросов (например, "RequestReadTimeout body=10,MinRate=1000" ограничивает время загрузки тела запроса 10 секундами, плюс прибавляет по 1 секунде на каждые 1000 байт полученных данных);
  • mod_request (http://httpd.apache.org/docs/trunk/mod/mod_request.html) - позволяет определить фильтр для обработки и распространения тела запроса;
  • mod_slotmem_shm (http://httpd.apache.org/docs/trunk/mod/mod_slotmem_shm.html) - система доступа к разделяемой памяти на основе слотов (scoreboard);
  • mod_allowmethods (http://httpd.apache.org/docs/trunk/mod/mod_allowmethods.html) - позволяет ограничить некоторые HTTP-методы не мешая авторизации и аутентификации (например, "AllowMethods GET HEAD OPTIONS");
  • mod_buffer (http://httpd.apache.org/docs/trunk/mod/mod_buffer.html) - позволяет организовать буферизацию для входящих и исходящих фильтров.
• Измененные модули:
  • В mod_ssl (http://httpd.apache.org/docs/trunk/mod/mod_ssl.html) добавлена поддержка проверки статуса клиентского сертификата на OCSP серверах. Также добавлена возможность совместного использования данных SSL сессии на нескольких http-серверах, через задействование memcached;
  • В mod_cache (http://httpd.apache.org/docs/trunk/mod/mod_cache.html) добавлена поддержка кэширования HEAD-запросов. Директивы mod_cache теперь можно указывать в привязке к отдельным директориям, а не только для отдельного сервера. Добавлена возможность выводить устаревшие данных из кэша в случае недоступности рабочего бэкенда. В заголовок X-Cache можно подставлять значения HIT/MISS/REVALIDATE;
  • В mod_include (http://httpd.apache.org/docs/trunk/mod/mod_include.html) в элемент 'include' добавлена поддержка атрибута 'onerror', позволяющего вывести свой документ при ошибке вместо вывода используемого по умолчанию текста ошибки (например, include virtual="/not-exist.html" onerror="/error.html");
  • В mod_proxy (http://httpd.apache.org/docs/trunk/mod/mod_proxy.html) значительно увеличена производительность работы директивы ProxyPass в блоках Location и LocationMatch, что значительно быстрее, чем использование традиционного синтаксиса "ProxyPass путь URL";
  • В mod_proxy_balancer (http://httpd.apache.org/docs/trunk/mod/mod_proxy_balancer.html) расширено число параметров BalancerMembers, которые можно менять через balancer-manager. Добавлена возможность добавления новых параметров BalancerMembers через balancer-manager. Поддержка изменения во время исполнения подмножества параметров директивы Balancer;
  • В модулях mod_cgi, mod_include, mod_isapi и т.п. преобразование заголовков в переменные окружения осуществляется по более строгим правилам, например, блокируются попытки осуществления XSS-атак через подстановку скриптов в заголовки. Все заголовки в которых используются специальные символы теперь молча удаляются. Для проброса некорректных с точки зрения новых правил переменных окружения в устаревшие скрипты предусмотрено (http://httpd.apache.org/docs/trunk/env.html) несколько обходных путей;
  • В модуле mod_authz_core (http://httpd.apache.org/docs/trunk/mod/mod_authz_core.html) расширенная логика авторизации может быть задана при помощи Require и связанных директив, таких как RequireAll;
• Дополнительные компоненты:
  • В поставку Apache включен скрипт fcgistarter, предназначенный для запуска серверных FastCGI процессов.
  • В утилиту htcacheclean - добавлены функции просмотра и удаления отдельных прокэшированных URL и связанных с ними мета-данных;
• Средства для разработчиков модулей:
  • Интерфейс для кэширование небольших объектов, основанный на ранее созданном для mod_ssl кэше сессионных данных. В качестве хранилища можно использовать цикличный буфер в разделяемой памяти, dbm-базу на диске и memcached;
  • Добавлен парсер выражений общего назначения, API которого основан на ap_expr.h. Код парсера основан на ранее реализованном парсере для mod_include;
  • Добавлен hook check_config для проверки конфигурации на ранней стадии загрузки, позволяя независимо проанализировать параметры определенных директив и при необходимости откорректировать их;
  • Для оценки статуса mod_cache добавлен hook cache_status, вызываемый после принятия решения о кэшировании. Реализация по умолчанию добавляет при ответе опциональные заголовки X-Cache в X-Cache-Detail.

[size="3"]Проекту Apache Hadoop присуждена премия новатор года [/size]

На прошедшей в Лондоне церемонии награждения MediaGuardian Innovation Awards (http://www.guardian.co.uk/megas/winners-2011), премия "Новатор года", ежегодно присуждаемая наиболее инновационным продуктам и технологиям, была вручена проекту Apache Hadoop (http://hadoop.apache.org/). При вручении премии Apache Hadoop был отождествлен с швейцарским армейским ножом 21 века и назван проектом, обладающим потенциалом, способным полностью изменить лицо медиа-технологий по всему миру. Среди финалистов, уступивших пальму первенства, отмечены проекты WikiLeaks и iPad.

Hadoop является свободной платформой для организации распределенной обработки больших объемов данных (петабайты) с использованием парадигмы map/reduce, при которой задача делится на множество более мелких обособленных фрагментов, каждый из которых может быть запущен на отдельном узле кластера. В состав Hadoop входит также реализация распределенной файловой системы Hadoop Distributed Filesystem (HDFS (http://hadoop.apache.org/hdfs/)), автоматически обеспечивающей резервирование данных и оптимизированной для работы MapReduce-приложений. Для упрощения доступа к данным в Hadoop хранилище разработана БД HBase (http://hadoop.apache.org/hbase/) и SQL-подобный язык Pig (http://hadoop.apache.org/pig/), который является своего рода SQL для MapReduce, запросы которого могут быть распараллелены и обработаны несколькими Hadoop-платформами.

[size="3"]Аутентификация в Apache используя Active Directory и Kerberos [/size]

В статье (http://val-khmyrov.blogspot.com/2011/04/apache-active-directory-kerberos.html) довольно подробно рассмотрен процесс настройки прозрачной аутентификации пользователей сайта, работающего под управлением http-сервера Apache, используя KDC, реализованный в Microsoft Windows.

[size="3"]Релиз Apache 2.2.18 с устранением DoS-уязвимости в библиотеке APR (libc тоже подвержена проблеме)[/size]

Представлен (http://mail-archives.apache.org/mod_mbox/httpd-announce/201105.mbox/raw/%3C4DCB5DC0.6020809@apache.org%3E) релиз http-сервера Apache 2.2.18 в котором отмечено 23 исправления (http://www.apache.org/dist/httpd/CHANGES_2.2.18) и устранение одной уязвимости (http://secunia.com/advisories/44490/), которая может быть использована для проведения DoS-атаки на сервер.

Уязвимость вызвана ошибкой в реализации функции apr_fnmatch(), которая входит в состав библиотеки Apache APR (http://projects.apache.org/projects/portable_runtime.html) (Apache Portable Runtime), используемой модулем mod_autoindex и многими приложениями, разрабатываемыми под покровительством Apache. Передача специально оформленных запросов (http://securityreason.com/achievement_securityalert/98), сформированных с использованием в пути маски "директория/?P=*?*?*?...и так 4 Кб", приводит к возникновению рекурсивной обработки, во время которой существенно возрастает нагрузка на CPU и в конечном итоге происходит крах из-за переполнения стека.

HTTP-сервер Apache 2.2.18 поставляется с обновленной библиотекой APR 1.4.4, в которой данная уязвимость исправлена. Всем, кто по каким-либо причинам не может обновить библиотеку APR до новой версии, рекомендуется включить опцию IgnoreClient внутри директивы IndexOptions.

Кроме устранения уязвимости в новой версии отмечены (http://www.apache.org/dist/httpd/CHANGES_2.2.18) исправления ошибок в модулях: mod_proxy, mod_autoindex, mod_cache, mod_dav, mod_win32, mod_ssl, mod_userdir и mod_mem_cache. В утилите htpasswd изменен используемый по умолчанию алгоритм хэширования: с функции crypt() на MD5. Устранены проблемы при сборке с использованием MinGW. В директиву AllowEncodedSlashes добавлена поддержка опции NoDecode, указывающая на то, что не нужно декодировать закодированные в URL слеши. В mod_rewrite добавлена возможность удаления переменных окружения. Добавлена директива Suexec для отключения механизма suEXEC без переименования бинарного файла (в конфигурации достаточно указать Suexec Off).

Дополнение: уязвимости подвержена (http://securityreason.com/achievement_securityalert/98) реализация функции fnmatch из стандартных библиотек (libc) NetBSD, OpenBSD, FreeBSD, Mac OS X, Solaris и Android.

[size="3"]Обновление http-сервера Apache 2.2.19 с устранением нарушения ABI-совместимости [/size]

Спустя 10 дней с момента выхода http-сервера Apache 2.2.18 (http://linuxforum.kz/index.php?/topic/99-apache/page__view__findpost__p__18027) представлен корректирующий выпуск Apache 2.2.19 (http://www.apache.org/dist/httpd/CHANGES_2.2.19) в котором устранено регрессивное изменение (http://mail-archives.apache.org/mod_mbox/httpd-announce/201105.mbox/%3C4DD55092.3030403@apache.org%3E), приведшее к нарушению совместимости на уровне ABI из-за изменения сигнатуры функции ap_unescape_url_keep2f(). В Apache 2.2.19 сигнатура восстановлена из выпуска Apache 2.2.17, а ранее внесенные изменения представлены в виде отдельной новой функции ap_unescape_url_keep2f_ex().

[size="3"]Apache Cassandra 0.8.0[/size]
 
Вышла новая версия распределенной СУБД Apache Cassandra: 0.8.

Основные изменения в этой версии:

• Язык запросов CQL (Cassandra Query Language) -- SQL-подобный язык, который можно использовать в качестве альтернативы RPC-вызовам. В данный момент готовы драйвера для Java (JDBC), Python (DBAPI2) и Node.js.
• Распределенные счетчики (http://wiki.apache.org/cassandra/Counters), реализованные без блокировок.
• Поддержка шифрования трафика между узлами кластера.

Обновление на эту версию с 0.7 возможно выполнять отдельно по узлам, не останавливая кластер целиком. Так же новый релиз полностью совместим с предыдущим по RPC, нет необходимости обновлять клиентский код если не требуется поддержка новых функций.

>>> Подробности (http://www.mail-archive.com/user@cassandra.apache.org/msg13822.html)

[size="3"]Релиз БД Apache CouchDB 1.1.0 [/size]
 
Вышел (http://permalink.gmane.org/gmane.comp.db.couchdb.devel/15531) релиз распределенной, документ-ориентированной базы данных Apache CouchDB (http://couchdb.apache.org/downloads.html), относящейся к классу NoSQL-систем. Запросы к CouchDB и индексация данных могут выполняться в соответствии с парадигмой MapReduce (http://ru.wikipedia.org/wiki/MapReduce), используя для формирования логики выборки данных язык Javascript. Ядро системы написано на языке Erlang, оптимизированного для создания обслуживающих множество параллельных запросов распределенных систем. View-сервер написан на языке Си и базируется на Javascript-движке Mozilla Spidermonkey. Исходные тексты проекта распространяются (http://couchdb.apache.org/downloads.html) под лицензией Apache 2.

Доступ к БД производится при помощи протокола HTTP с использованием RESTful JSON API. В качестве единицы хранения данных выступает документ, имеющий уникальный идентификатор, версию и содержащий произвольный набор именованных полей в формате ключ/значение. Для организации псевдо-структурированного набора данных из произвольных документов (агрегирования и формирования выборок) применяется концепция формирования представлений (view), для определения которых используется язык Javascript. На Javascript также можно определять функции для проверки корректности данных при добавлении новых документов в рамках определенного представления.

CouchDB хранит (http://couchdb.apache.org/docs/overview.html) данные в формате упорядоченного списка и позволяет производить частичную репликацию данных между несколькими БД в режиме «мастер-мастер» с одновременным обнаружением и разрешением конфликтных ситуаций. Каждый сервер хранит свой локальный набор данных, синхронизированный с другими серверами, которые могут переводиться в offline-режим и периодически реплицировать изменения. В частности, данная возможность делает CouchDB привлекательным решением для организации синхронизации настроек программ между разными компьютерами, что уже используется (http://linuxforum.kz/index.php?/topic/4350-canonical-ltd/page__view__findpost__p__9970) для синхронизации содержимого адресной книги ПК c мобильным телефоном через сервис Ubuntu One. Решения на базе CouchDB внедрены в таких компаниях как BBC, Apple и CERN.

Основные улучшения, добавленные в CouchDB 1.1.0:

• Нативная поддержка SSL;
• Поддержка обработки HTTP-заголовков группы "range" для отдачи прикрепленных данных не с начала файла, а с указанной позиции (например, позволяет организовать докачку после обрыва соединения);
• Добавлена опция конфигурации для включения TCP_NODELAY;
• Добавлены встроенные фильтры для базы "_changes": "_doc_ids" и "_design";
• В описании виртуальных хостов теперь допустимо использование масок;
• Обеспечена более гранулированная поддержка ETag для представлений;
• Увеличена гибкость системы подмены URL (URL rewriter);
• Добавлен модуль OS Process для управления фоновыми процессами вне CouchDB;
• Добавлен обработчик HTTP Proxy;
• Добавлена база "_replicator" для управления репликацией;
• Множественные микро-оптимизации для увеличения производительности операций чтения данных;
• В функцию map добавлена поддержка CommonJS;
• Добавлена используемая в запросах опция "stale=update_after", дающая возможность обновить представление после возврата состояния "stale=ok";
• В web-интерфейс Futon добавлена функция изменения пароля.

[size="3"]Apache Traffic Server 3.0[/size]
 
Вышла новая версия Apache Traffic Server - высокоскоростного кеширующего веб-сервера, который используется перед более "тяжелым" сервером приложений и для отдачи статического контента. Traffic Server был разработан как коммерческий продукт, который Yahoo приобрела вместе с компание разработчиком. В 2009 году проект был передан в opensource. Этот сервер используется для многих проектов Yahoo, включая главную страницу и сервесы почты, спорта и финансов.

Основные изменения (https://blogs.apache.org/foundation/entry/apache_traffic_server_v3_0):

• Полная поддержка 64-битной платформы
• Поддержка IPv6 на клиентской стороне
• Кластеризация и распределенное кеширование, поддержка WCCP - Web Cache Communication Protocol
• Поддержка OS X, Solaris и FreeBSD (поддержка Linux была в проекте с самого начала)

В новой версии в 2-3 раза повысилась производительность, в 5 раз снижено время отклика. В тестах производительности удалось достичь 220 тысяч запросов в секунду на одном сервере при отдаче из кеша и около 100 тысяч при проксировании (локальная сеть, http keep-alive)

 >>> Подробности (https://blogs.apache.org/foundation/entry/the_apache_software_foundation_announces13)

[size="3"]Вышел Apache Solr 3.3[/size]
 
Основные изменения:

• Наконец-то одно из самых долгожданный изменений: grouping (бывший collapsing) - позволяет показывать только один или несколько первых документов из группы. Группировать можно по полю или произвольному запросу. Подробнее (http://wiki.apache.org/solr/FieldCollapsing)
• Новая реализация автодополнения, более быстрая и с меньшим потребением памяти
• KStemFilterFactory, улучшенная реализация менее агрессивного стеммера английского языка
• Исправления ошибок и улучшения из Apache Lucene 3.3

Solr, на сегодняшний день, один из самых функциональных поисковых движков с открытыми исходниками. Поддерживает полнотекстовый поиск, фильтрацию результатов поиска (http://wiki.apache.org/solr/DisMaxQParserPlugin), фасеты (http://wiki.apache.org/solr/SimpleFacetParameters), группировку результатов, геопоиск (http://wiki.apache.org/solr/SpatialSearch), hit highlighting, репликацию и многое другое.

>>> Changes 3.3 (http://svn.apache.org/repos/asf/lucene/dev/tags/lucene_solr_3_3/solr/CHANGES.txt)

[size="3"]Легко эксплуатируемая DoS-уязвимость в HTTP-сервере Apache (дополнено) [/size]

В http-сервере Apache найдена (http://www.gossamer-threads.com/lists/apache/dev/401638) опасная уязвимость, позволяющая вызвать отказ в обслуживании через исчерпание всей доступной памяти. Опасность уязвимости усугубляется тем, что для её осуществления уже доступен готовый эксплоит (http://seclists.org/fulldisclosure/2011/Aug/175), позволяющий совершить атаку с одной машины с генерацией минимального трафика. При отсутствии отдельных лимитов на размер выделяемой Apache памяти, после выполнения эксплоита наблюдается полное исчерпание памяти с уходом в бесконечный своппинг без возможности зайти в консоль. Проблема вызвана ошибкой (https://issues.apache.org/bugzilla/show_bug.cgi?id=51714) в реализации поддержки загрузки части файла по указанному диапазону (например, после обрыва соединения можно запросить загрузку начиная с определенной позиции). Ошибка связана с тем, что при обработке запроса, содержащего большое число диапазонов (например, "Range:bytes=0-,5-1,5-2,5-3,...,5-1000") в сочетании с использованием gzip-сжатия отдаваемого контента, расходуется слишком много памяти. Например, если в заголовке Range передана тысяча диапазонов, то Apache пытается отдельно сжать каждый диапазон. Так как каждая операция сжатия требует достаточно много памяти (даже для сжатия одного байта выделяется буфер для сжатия блока), в сумме легко исчерпать всю доступную память. Для осуществления удачной атаки достаточно отправить около 50 подобных запросов с составным Range на сервер.

Проблема присутствует в Apache 2.2.x, включая последний релиз 2.2.19. Исправление пока доступно в виде патча (http://www.gossamer-threads.com/lists/apache/dev/401638). Также имеется несколько способов временной защиты, не требующих пересборки Apache. Например, можно принудительно очищать (http://seclists.org/fulldisclosure/2011/Aug/253) заголовок Range при помощи mod_header ("RequestHeader unset Range") или блокировать (http://seclists.org/fulldisclosure/2011/Aug/241) длинные последовательности Range через mod_rewrite:

[color="#461b7e"] # Вариант 1:
RewriteEngine On
RewriteCond %{HTTP:Range} bytes=0-[0-9]+, [NC,OR]
RewriteCond %{HTTP:Range} bytes=([0-9-],){4,} [NC,OR]
RewriteCond %{HTTP:Range} bytes=[0-9,-]+,0-(,|$) [NC]
RewriteRule .? http://%{SERVER_NAME}/ [NS,L,F]
# Вариант 2:
RewriteEngine On
RewriteCond %{REQUEST_METHOD} ^(HEAD|GET) [NC]
RewriteCond %{HTTP:Range} ([0-9]*-[0-9]*)(\s*,\s*[0-9]*-[0-9]*)+
RewriteRule .* - [F]
# Вариант 3:
RewriteEngine On
RewriteCond %{HTTP:Range} bytes=0-.* [NC]
RewriteRule .? http://%{SERVER_NAME}/ [R=302,L]
[/color]Интересно, что о теоретической возможности совершения подобной атаки Михаил Залевски (Michal Zalewski), известный польский эксперт в области компьютерной безопасности в настоящее время работающий в Google, сообщал (http://seclists.org/bugtraq/2007/Jan/83) еще 4 года назад, но проблема по каким-то причинам не была воспринята всерьез и исправления не были внесены.

Дополнение: Разработчики Apache опубликовали (http://mail-archives.apache.org/mod_mbox/httpd-announce/201108.mbox/%3C20110824161640.122D387DD@minotaur.apache.org%3E) официальный отчет о наличии уязвимости, в котором указали на то, что в сети зарегистрирована волна DoS-атак, базирующихся на использовании рассмотренной уязвимости. Обновление для веток Apache 2.0.x 2.2.x с исправлением уязвимости планируется выпустить в течение 48 часов. Ветка Apache 1.3.x также подвержена проблеме, но исправление для неё выпущено не будет, так как поддержка данной ветки прекращена. Администраторам рекомендуется срочно применить обходные пути защиты, среди которых указаны:

• Использование SetEnvIf для Apache 2.0 и 2.2: [color="#461b7e"]

# Удаляем заголовок Range, если в нем более 5 диапазонов
SetEnvIf Range (,.*?){5,} bad-range=1
RequestHeader unset Range env=bad-range
# помещаем в лог попытки атаки
CustomLog logs/range-CVE-2011-3192.log common env=bad-range [/color]

• Использование mod_rewrite для Apache 1.3 и 2.x: [color="#461b7e"]

RewriteEngine on
RewriteCond %{HTTP:range} !(^bytes=[^,]+(,[^,]+){0,4}$|^$)
RewriteRule .* - [F] [/color]

• Ограничение максимального размера поля через директиву "LimitRequestFieldSize 200 (http://httpd.apache.org/docs/2.2/mod/core.html#limitrequestfieldsize)", где 200 - размер параметров в байтах. Внимание, данный параметр действует для всех полей, что может привести к проблемам, например, при использование больших cookie.
• Использование mod_headers для полного запрещения заголовка Range - "RequestHeader unset Range". Данный метод может привести к неработоспособности некоторых приложений, таких как программы для загрузки файлов, PDF-просмотрщики и проигрыватели потокового видео;
• Использование специального модуля mod_rangecnt (http://people.apache.org/%7Edirkx/mod_rangecnt.c) (готовые сборки (http://people.apache.org/%7Edirkx/BINARIES.txt) для некоторых редких платформ), контролирующего число диапазонов внутри директивы Range.

[size="3"]Релиз БД Apache Cassandra 1.0 [/size]

Организация Apache Software Foundation анонсировала (https://blogs.apache.org/foundation/entry/the_apache_software_foundation_announces18) релиз распределенной БД Apache Cassandra 1.0 (http://cassandra.apache.org/), относящейся к классу noSQL-систем и рассчитанной на создание высокомасштабируемых и надежных хранилищ огромных массивов данных, представленных в виде хэша. Изначально проект был разработан в недрах Facebook и в 2009 году передан под покровительство фонда Apache. Промышленные решения на базе Cassandra развернуты для обеспечения сервисов таких компаний, как Cisco, IBM, Cloudkick, Reddit, Digg, Rackspace и Twitter. Наиболее крупный кластер серверов, обслуживающих единую БД Cassandra, размер данных в которой превышает 300 Тб, насчитывает более 400 машин.

БД Cassandra написана на языке Java и объединяет в себе полностью распределенную hash-систему Dynamo, обеспечивающую практически линейную масштабируемость при увеличении объема данных. Cassandra использует модель хранения данных на базе семейства столбцов (ColumnFamily), отличающуюся от систем подобных memcachedb, которые хранят данные только в связке ключ/значение, возможностью организовать хранение хэшей с несколькими уровнями вложенности. Cassandra относится к категории хранилищ повышенно устойчивых к сбоям: помещаемые в БД данные автоматически реплицируются на несколько узлов распределенной сети или даже равномерно распределяются по нескольким дата-центрам. При сбое узла, его функции на лету подхватываются другими узлами. Добавление новых узлов в кластер и обновление версии Cassandra производится на лету, без дополнительного ручного вмешательства и переконфигурирования других узлов.

Для упрощения взаимодействия с БД поддерживается язык формирования структурированных запросов CQL (http://crlog.info/2011/03/29/cassandra-query-language-aka-cql-syntax/) (Cassandra Query Language), на первый взгляд напоминающий SQL, но существенно урезанный по функциональности. Например, можно выполнять только простейшие запросы SELECT с выборкой по определенному условию, но без поддержки сортировки и группировки. Добавление и обновление данных производится через единое выражение UPDATE, операция INSERT отсутствует (если записи нет, при выполнении UPDATE она создается). Из возможностей можно отметить поддержку пространств имен и семейств столбцов, создание индексов через выражение "CREATE INDEX". Драйверы с поддержкой CQL подготовлены для языков Python (http://www.apache.org/dist/cassandra/drivers), Java (https://github.com/racker/node-cassandra-client) (JDBC/DBAPI2) и Javascript (https://github.com/racker/node-cassandra-client) (Node.js).

Ключевые (http://www.mail-archive.com/user%40cassandra.apache.org/msg18093.html) новшества (https://svn.apache.org/viewvc/cassandra/branches/cassandra-1.0/NEWS.txt?view=co) Cassandra 1.0:

• Поддержка хранения файлов с данными (SSTables) в сжатом виде с добавлением контрольных сумм для слежения за сохранением целостности сжатых блоков;
• Улучшение системы управления памятью, включая новые виды кэшей и реализацию системы автоматического тюнига, что позволяет минимизировать остановки в процессе работы сборщика мусора и обеспечить более предсказуемую производительность;
• Улучшение средств обслуживания дискового пространства: более надежное слежение за размером лога коммитов и обеспечение безотлагательного удаления устаревших файлов с данными;
• Новая, поддерживающая разделения на уровни, стратегия упаковки данных, основанная на идеях LevelDB (http://linuxforum.kz/index.php/topic/205-google/page__view__findpost__p__20709) и позволяющая обеспечить более предсказуемый размер файлов на диске и однородную производительность. Особенность нового алгоритма в том, что для упаковки необходимо наличие нескольких мегабайт свободного места, а не до 50% как раньше;
• Возможность использования нескольких нитей в процессе одной операции упаковки (multithreaded_compaction);
• Добавлена поддержка нового типа данных "decimal";
• Реализация сервиса для платформы Windows.

[size="3"]Вышла Apache Commons Compress 1.3[/size]
 
Вчера вышла новая 1.3 версия Apache Commons Compress. Основные изменения: полная поддержка ZIP64 (расширение формата ZIP для архивов более 4GB) и изменение минимально необходимой версии JRE с 1.4 до 5.0. Помимо zip Apache Commons Compress поддерживает множество других форматов, таких как tar, gzip, bzip2, cpio, ar.

ZIP64, в стандартных библиотеках JRE, поддерживается лишь в Java 7.

 >>> Подробности (http://commons.apache.org/compress/)

[size="3"]Проект Apache Harmony закрыт[/size]
 
Участники проекта Apache Harmony, opensource реализации Java, проголосовали о закрытии проекта -- его исходные тексты перенесены в репозитарий Apache Attic.

Проект так и не получил от Oracle эталонные тесты Technology Compatibility Kit, необходимые для сертификации и защиты от патентных угроз. Кроме того, при выпуске Java 7 были приняты (https://www.linux.org.ru/news/java/5661192) правила, согласно которым не допускаются свободные альтернативные реализации Java.

Основной спонсор проекта, IBM, переключился на OpenJDK (https://www.linux.org.ru/news/java/5433936) в прошлом году, компания Google также перестала участвовать в проекте из-за судебного процесса о использовании технологий Java в Android.

 >>> Подробности (http://java.dzone.com/news/apache-harmony-finally)

[size="3"]Apache Tika 1.0[/size]
 
Вышла версия 1.0 Apache Tika -- библиотеки и утилит для извлечения текста и метаданных из распространенных бинарных форматов. Tika создавалась как подпроект библиотеки полнотекстового поиска Apache Lucene.

Tika поддерживает офисные форматы Microsoft (OLE и OOXML), OpenDocument, Apple iWork, PDF, RTF, ePub и FB2, MIME (mailbox) и др. Поддерживается извлечение метаданных из аудио-форматов и изображений, распаковка некоторых популярных форматов архивов.

Основные изменения по сравнению с 0.10:

• RTF: поддержка гиперссылок
• MS Word: поддержка Unicode дефисов
• Outlook: извлечение вложенных файлов
• MS Office: увеличение скорости
• OpenOffice: извлечение верхних и нижних колонтитулов
• PDF: корректное извлечение параграфов и опциональная поддержка аннотаций
• Определение языка/кодировки текстов: добавлена поддержка белорусского, каталонского, эсперанто, галийского, литовского, румынского, словацкого, словенского и украинского языков (русский язык и популярные в России кодировки поддерживаются и в предыдущих версиях Tika)
• Работа и конфигурация в OSGi окружении
• Удалены API, объявленные устаревшими в предыдущих версиях

>>> Подробности (https://www.apache.org/dist/tika/CHANGES-1.0.txt)

[size="3"]Apache Geronimo сертифицирован на совместимость с Java EE 6 [/size]

Первая бета-версия сервера приложений Apache Geronimo 3.0 отмечена (http://geronimo.apache.org/apache-geronimo-v30-beta-1-release.html) как полностью совместимая с Java EE 6.0 (Full Profile). Новая версия проходит все проверки сертификационного тестового набора Java Enterprise Edition 6.0 Full Profile Certification Test Suite, а также дополнительно поддерживает модель разработки OSGi (http://ru.wikipedia.org/wiki/OSGi). В качестве web-контейнеров поддерживаются Tomcat 7 (http://tomcat.apache.org/) и Jetty 8 (http://jetty.mortbay.org/jetty/), но сертифицировано только решение на основе Tomcat и движка для обеспечения работы web-сервисов Apache Axis2 (http://axis.apache.org/axis2/java/core/).

Сертификация Apache Geronimo на совместимость с полной спецификацией Java EE 6 (Full Profile) позволила опередить основных открытых конкурентов - JBoss и Resin (http://www.caucho.com/resin/), которые пока остаются сертифицированными лишь с "Web Profile (http://en.wikipedia.org/wiki/Java_Platform,_Enterprise_Edition#Web_Profile)", легковесным и переносимым подмножеством Java EE 6, созданным для разработки и распространения интерактивных web-приложений. Ожидается (http://community.jboss.org/blogs/mark.little/2011/07/12/jbossas-70-is-here), что в jBoss Application Server удастся добиться полной совместимости с Java EE 6.0 (Full Profile) только к релизу 7.1. Среди сертифицированных с "Full Profile" продуктов, можно отметить открытый Oracle GlassFish (http://glassfish.java.net/downloads/3.1-final.html) и коммерческие IBM WebSphere Application Server, Fujitsu Interstage Application Server и JEUS.

Так как Apache Geronimo 3 пока находится на стадии бета-тестирования, его не рекомендуется использовать в промышленной эксплуатации. Последней стабильной версией остаётся Apache Geronimo 2.2.1 (http://geronimo.apache.org/apache-geronimo-v221-release.html), выпущенный в декабре прошлого года. Из спецификаций, которые поддерживаются в Apache Geronimo 3-beta1, можно отметить:

• Servlet 3.0
• JSP 2.2
• JSTL 1.2
• JSF 2.0
• EL 2.2
• EJB 3.1
• JPA 2.0
• JTA 1.1
• JTS 1.0
• JDBC 3.0
• JNDI 1.2
• JMS 1.1
• JMX 1.2
• JACC 1.4
• JASS 1.0
• JASPIC 1.0
• JAX-WS 2.2
• JAX-RPC 1.1
• JAX-RS
• JAXR 1.0
• JAXB 2.2
• JAXP 1.3
• SAAJ 1.3
• Java Mail 1.4
• DI 1.0
• Bean Validation 1.0
• Common Annotations 1.0
• CDI и DI 1.0
• Поддержка отладки для других языков программирования 1.0
• Managed Beans 1.0
• Interceptors 1.1
• Enterprise Bundle Application (EBA)
• OSGi Web Application Bundle (WAB)
• OSGi Blueprint Container service

[size="3"]Новый метод атаки на обратный прокси Apache [/size]

В начале октября в http-сервере Apache была обнаружена уязвимость (http://www.opennet.ru/opennews/art.shtml?num=31960), позволяющая при работе mod_proxy в режиме обратного прокси отправить запрос из внешней сети к внутренним серверам в демилитаризованной зоне (DMZ), при наличии определенных rewrite-правил в конфигурации сервера. Разработчики проекта выпустили патч для устранения проблемы, но как оказалось (https://community.qualys.com/blogs/securitylabs/2011/11/23/apache-reverse-proxy-bypass-issue) он бесполезен при использовании обходных путей для совершения атаки.

Если в конфигурации сервера, есть примерно такое правило (вместо RewriteRule может быть ProxyPassMatch):
[color="#461b7e"]
RewriteRule ^(.*) http://www.example.com$1 [P][/color]
 Атакующий может отправить запросы (символ "@" будет воспринят как разделитель для параметров аутентификации):
[color="#461b7e"]
GET @localhost::8880 HTTP/1.0\r\n\r\n
GET qualys:@qqq.qq.example.com HTTP/1.0\r\n\r\n[/color]
 В первом случае запрос будет транслирован в "http://localhost::8880", т.е. вместо сервера www.example.com будет осуществлено обращение по сетевому порту 8880 (Tomcat). Во втором случае запрос будет транслирован в "http://www.example.com@qqq.qq.example.com", и, соответственно, обращение будет к серверу qqq.qq.example.com.

В настоящее время официальных исправлений не выпущено, но один из работников компании Red Hat опубликовал (http://mail-archives.apache.org/mod_mbox/httpd-dev/201111.mbox/%3C20111123142321.GB22547@redhat.com%3E) неофициальный патч. Как и в случае прошлой уязвимости проблему решает явное добавление слеша-разделителя в правило ("http://www.example.com/$1" вместо "http://www.example.com$1").

[size="3"]Apache Lucene & Solr 3.5.0[/size]
 
Вышла новая версия библиотеки полнотекстового поиска Apache Lucene и построенного на ней поискового сервера Apache Solr.

Основные изменения в Lucene:

• Существенное уменьшение объема оперативной памяти, используемого для хранения словарного индекса (LUCENE-2205 (https://issues.apache.org/jira/browse/LUCENE-2205))
• Ускорение поиска по n-gramm'ам (LUCENE-3426 (https://issues.apache.org/jira/browse/LUCENE-3426))
• Несколько новых API, упрощающих многопоточную работу с индексом
• Поддержка wildcard запросов в модуле выделения найденного в результатах поиска
• Различные багфиксы

Основные изменения в Solr:

• Группировка результатов при распределенном поиске
• Новый дополнительный стеммер "Hunspell (http://ru.wikipedia.org/wiki/Hunspell)" с поддержкой 99 языков
• Дополнительный модуль для определения языка исходного текста, использующий детектор из Apache Tika (http://tika.apache.org/) или библиотеки Cybozu (http://code.google.com/p/language-detection/)
• Добавлен флаг, задающий положение пустых значений при сортировке - в начале списка или в конце
• Различные багфиксы

>>> Подробности (http://lucene.apache.org/#27+November+2011+-+Lucene+Core+3.5.0+and+Solr+3.5.0+Available)